浮動小数点数
計算式の書き方を変えたら、浮動小数点演算の誤差で最後の桁（7桁目）が変わってしまったのだけれど、それが最終的に結果の正負を左右する規模にまで拡大されるのを目の当たりにしてしまって、驚きました。
単精度で運用するには無理があるアルゴリズムなのかもしれない。プログラムをいじりつつ、いろいろが終わらなくてやや過負荷気味な毎日。
| 投稿者 | CASPAR003 |
| 投稿時刻 | 00:13 |
| カテゴリー | 雑記 |
| コメント | 0 件 |
| トラックバック | 0 件 |
| 記事へのリンク | http://www.caspar003.info/delta/archive/2010/12/16/0013.html |
コメント
- 投稿者
トラックバック
- トラックバック
