​​​​​​설명서(reference guide)
cos(squareMatrix1) 항목 및 cos^-1(squareMatrix1)를 읽어보세요. 

읽어도 잘 이해가 안되신다면,
선형대수(eigenvalue, eigenvector) 관련한 강좌를 먼저 들어보셔야 할 겁니다.

결론은... 
단순 역삼각함수를 구하시려면 arccos() 안에 Expr(값)이나 리스트{} 를 넣어야지 행렬을 넣으시면 안됩니다.