コンピュータ内部において、浮動小数点数は現在「IEEE 754」という国際的な標準規格に従って表現されるのが一般的です。この規格では、数値を「符号部（プラスかマイナスか）」「指数部（小数点の位置、すなわち2の何乗か）」「仮数部（具体的な数値の並び）」の3つのブロックに分けてビットを割り当てます。例えば単精度（32ビット）と呼ばれる形式では、符号に1ビット、指数部に8ビット、仮数部に23ビットを割り当てます。
浮動小数点数の非常に重要なルールとして「正規化（せいきか）」という操作があります。これは、仮数部の表現方法を「必ず1.xxxxの形になるように小数点の位置を調整する」というルールです。たとえば「0.00101（2進数）」というデータがあったら、小数点を右に3つずらして「1.01 × 2のマイナス3乗」という形に整えます。さらに、2進数で正規化すると整数部分は絶対に「1」になるため、この「1」を省略して保存しない（ケチ表現、または隠みビットと呼びます）ことで、限られたビット数の中で仮数部に1ビット分多く情報を詰め込み、精度を高める工夫がなされています。
一方で、浮動小数点数は万能ではありません。限られた桁数に収めるために、10進数ではキリの良い「0.1」のような数字であっても、2進数に変換すると無限に続く循環小数となり、仮数部の途中でバッサリと切り捨てられ（丸められ）てしまいます。そのため、プログラミングにおいて「0.1 ＋ 0.2」を計算すると、結果が「0.3」ではなく「0.30000000000000004」のようになってしまうことがあります。これを浮動小数点数の計算誤差と呼びます。