桁落ち
情報落ちに悩んでいる CASPAR003 です。こんばんは。
どんな裏技があるんだかエクセルでは結構良い値が出るのに python に式をそのまま入れるとダメぽい。 1-(1-10-40)10^25 くらいのオーダーなんだけど、真っ向勝負では当然のように無理。
聞くところによると、 double 型の仮数部の精度は16桁くらいだって言うじゃないですか。40桁も違うと清々しい。数値計算テクニックのお勉強が始まりそうです。
| 投稿者 | CASPAR003 |
| 投稿時刻 | 22:36 |
| カテゴリー | 雑記 |
| コメント | 2 件 |
| トラックバック | 0 件 |
| 記事へのリンク | http://www.caspar003.info/delta/archive/2007/10/17/2236.html |
コメント
- 投稿者
- でった☆
- CASPAR003
トラックバック
- トラックバック
