桁落ち
情報落ちに悩んでいる CASPAR003 です。こんばんは。
どんな裏技があるんだかエクセルでは結構良い値が出るのに python に式をそのまま入れるとダメぽい。 1-(1-10-40)10^25 くらいのオーダーなんだけど、真っ向勝負では当然のように無理。
聞くところによると、 double 型の仮数部の精度は16桁くらいだって言うじゃないですか。40桁も違うと清々しい。数値計算テクニックのお勉強が始まりそうです。
投稿者 | CASPAR003 |
投稿時刻 | 22:36 |
カテゴリー | 雑記 |
コメント | 2 件 |
トラックバック | 0 件 |
記事へのリンク | http://www.caspar003.info/delta/archive/2007/10/17/2236.html |
コメント
- 投稿者
- でった☆
- CASPAR003
トラックバック
- トラックバック