[공학용 계산기] 화면에는 안보이는 하위 자릿수 확인하기
-
- 2024.09.27 - 15:07 2015.10.14 - 12:31 4559 10
공학용 계산기는 내부적으로 계산에 사용하는 (유효)숫자와 외부화면상에 보여주는 숫자의 자릿수 차이가 있습니다. 내부적으로 계산에 사용하는 (유효)숫자는 대략 12자리~15자리로 계산기마다 차이가 있습니다. 자릿수가 많을수록 계산 결과가 더 정확해 지지만, 그 댓가로 계산 속도를 잃고 더 많은 메모리가 필요하게 됩니다. 그래서 적당한 수준에서 내부적 유효숫자를 cut 하여 정해놓습니다.
계산기에서 결과 화면상에 보이지 않는 추가적인 자릿수의 숫자를 확인하는 방법을 살펴보겠습니다.
원리는 간단합니다. 안보이는 쪽은 숫자의 오른쪽이므로, 왼쪽을 하나씩 없애면 오른쪽이 하나 보이는 겁니다.
예시)
[CASIO fx-350 ES] 에서 log(1.23) 을 구하면 소숫점11자리까지만 나옵니다.
(자릿수 표시 설정 : Norm1 혹은 Norm2 인 경우)
정수부분이 없으므로, 적당히 10n 을 곱해서 소수부분을 정수로 만들고, 그 정수부분을 없애보겠습니다.
여기서 정수부분을 빼줍니다.
그러면 안보이던 뒷부분(393979)이 드러나게 되는 것이죠.
같은 과정을 한번 더 하더라도 추가 자릿수는 나오지 않습니다.
(이미 계산기 내부의 유효 계산 자릿수를 다 확인하였기 때문입니다)
확인한 값을 연결하여
최종 상용로그값 log(1.23) = 0.089951114393979 (유효숫자 14자리) 값을 구할 수 있게 되었습니다.
주의
여러 단계의 계산인 경우에는 계산 과정중에 발생하는 오차가 확인하려고 하는 유효자릿수보다 클 수 있습니다. 그럴 때는 위의 방법으로 확인한 최종 결과값을 그대로 믿어서는 안됩니다.
따라서 결과값을 검토할 수 있다면 검토해서 사용하시고, 검토할 수 없다면 (틀린 결과일 수 있다는 가능성에) 주의해서 사용하시기 바랍니다. 그것이 중요한 의미를 갖는 계산일 때에는 wolfram alpha 사이트를 이용해서 계산하시는게 좋습니다.
-
25
댓글10
-
세상의모든계산기
https://kin.naver.com/qna/detail.naver?d1id=4&dirId=40402&docId=466406476&qb=6rOE7IKw6riw&enc=utf8§ion=kin.qna.all&rank=1&search_sort=3&spq=0
24*1.08^395
= 3.8246760741742144333298134773137547925018381087460557669889902692740302835543440552895098678257447980746108101685223968853... × 10^14
https://www.wolframalpha.com/input?i=24*1.08%5E395
-
-
세상의모든계산기
계산기별 유효 하위 자릿수 확인 방법은? 예상했던 것과 결과가 다른 이유는?
ㄴ fx-991ES PLUS C Emulator
10^1 이면 2자리, 10^11 이면 12자리.
1/10 = 0.1 = 1.0 * 10^(-1) 1자리 아닌가? 이것도 2자리로 들어가나?(100,000,000,000 + 0.1) - 100,000,000,000 = 100,000,000,000.1 - 100,000,000,000 = 0.1
(1,000,000,000,000 + 0.1) - 1,000,000,000,000 = 1,000,000,000,000. - 1,000,000,000,000 = 0
이렇게 됐다는 말인데...
그럼 내부 유효 자릿수가 최대 13이라는 거 아닌가? 14로 알고 있었는데?
부동소숫점 처리가 되면 ×10^(m) 으로 바뀌면서 m(exponent) 도 자리를 차지하게 되는 건가?
-
-
-
세상의모든계산기
EL-W506T PC Emulator
설명서 EL-W506T EL-W516T MODEL EL-W516XG
-
-
세상의모든계산기
fx-570 ES Plus - Norm(1, 2)에서
2,786,774.58 + 152,529,503.4 = 155316277.98 이지만
ㄴ 강제로 소숫점 단위가 반올림되는 이유는?
ㄴ fx-570 ES Plus 설명서 중 발췌
설명서에 나온 것처럼 내부에 저장된 값과 관계없이,
인수가 10자리 수로(?) 반올림되기 때문입니다.
155316277.98 에서 8이 반올림 되는 것인데
그 결과
155316278.0 이 되고 (Norm에서) .0을 표시하지 않는 내부 구조상
155316278 만 남게 되는 것입니다.
세상의모든계산기 님의 최근 댓글
2) 고정기준값 41에 대한 오차 제곱합 계산방법 이건 통계메뉴에서는 딱히 방법이 떠오르지 않네요. 질문하신 것과 같이 적은 갯수의 data라면 직접 입력하시는게 최선입니다. 하지만 DATA 갯수가 수십개 이상이라면? ㄴ 스프레드시트 기능을 이용하시는게 좋겠습니다. 【MENU】【8】 A열에 DATA 입력하고 B로 이동한 후 OPTN 【1】 Fill Formula 【ALPHA】키 방향키 숫자키 등을 이용해 수식 완성 C로 이동후 Formula 수식 입력 D의 빈공간으로 이동 후 OPTN 방향키 아래 누르다보면 Sum 보임 ALPHA 키 이용해서 수식 완성. : 기호는 MENU 버튼 바로 아래 있음 (ALPHA키로 입력) 【=】입력하면 최종결과 확인 * 주의 (B열, C열과 달리) D1 셀은 계산 결과인 951이 직접 입력된 상태이므로 DATA 수정후 recalculation 하여도 자동계산되지 않음. 자동계산을 위해서는 formula 형식으로 입력해야 함. 2026 10.27 1) 통계적 편차제곱합(평균 50.25기준) 입력 방법 【MENU】 【6】 【1】 로 1-var Stat 모드로 진입하여 【48】 【=】 【66】 【=】 【32】 【=】 【55】【=】 DATA 입력 【OPTN】 【3】 【▼】 【▼】 fx-570EX 기종에도 편차제곱합을 바로 보여주진 않습니다. 본문에 나온 것처럼 앞서 계산되어 저장된 각종 변수를 이용해 계산합니다. 【AC】【OPTN】【4】Statistics Calc 이 화면에서 다시 OPTN 하고 (메뉴가 3개로 줄어 있죠?) 여기서 방향키로 【▼】 아래를 내려보면 추가 메뉴가 있습니다. 4개 메뉴에는 각각 아래 하위 메뉴가 있습니다. 이 중에서 필요로 하는 것을 골라 계산하시면 되겠습니다. Variable 에 있는 값을 이용하면 다른 공식을 쓰셔도 됩니다. 2026 10.27 질문자님, 48,66,32,55 네 개 DATA 의 평균은 50.25라서 41은 평균이 아닙니다. 그래서 식을 두 가지로 나눠서 봐야 합니다. 1) 통계적 편차제곱합(평균 50.25기준)이면 답은 608.75 입니다. 2) 만약 41이라는 고정 기준값에 대한 제곱합을 구하시는 거면 식은 (48-41)²+... 이고 답은 951입니다. 원문에 +로 쓰신 건 -의 오타로 보입니다. 2026 10.27 본문의 변환 위젯에 사용된 전서체 폰트는 대만의 최고 학술 연구 기관인 중앙연구원(Academia Sinica)에서 제공하는 ‘숭희전체(崇羲篆體)’로 전통 한자 서체인 소전(小篆)을 현대 컴퓨터 폰트(글꼴)로 구축한 오픈소스 프로젝트로 개발되었습니다. https://xiaoxue.iis.sinica.edu.tw/chongxi/download.htm 2026 10.20 예제1) 예제2) 예제3) 추가옵션 2026 10.18