하시려는 작업 내용(과정)과 문제가 확실하지 않습니다. 

1. New Document (새 파일 열기)
2. define f5(x) = x^2
3. Save Document (a.tns 파일로 저장)
4. 다른 파일(New Document 또는 다른 b.tns 파일) 열기
5. 파일 a.tns의 f5(x) 함수 불러오기

이런 과정에서 문제가 발생한 것인가요?

"사용자 정의 함수"는 한 파일 내부의 정의된 함수들을 지칭하며, 위의 경우에는 "라이브러리" 라고 부릅니다.
이때는 다른 방식으로 함수를 정의하여야 합니다. 

Define LibPriv 또는 Define LibPub 기능을 이용하시면 됩니다. 
이와 관련한 글은 아직 사이트 내에 없으니 ​자세한 설명은 계산기 사용 설명서(guidebook)를 참고하시기 바랍니다.