このように、「発生確率が低いことほど、知らされたときの驚き（情報量）が大きい」という関係を数学的に定義したものが情報量です。

情報量は、アメリカの数学者クロード・シャノンが提唱した「情報理論」によって数学的に厳密に定義されました。事象が発生する確率を $p$ としたとき、その事象が持っている情報量（自己情報量）は $-\log_2(p)$ ビットとして表されます。例えば、確率1/2で起きる事象の情報量は1ビット、確率1/4なら2ビットとなります。また、情報源から出力される情報量の平均値を「エントロピー（平均情報量）」と呼びます。エントロピーは、データの「不確実さ」や「乱雑さ」の度合いを示す指標であり、ハフマン符号などのデータ圧縮技術（可逆圧縮）における「どこまでデータを小さく圧縮できるか」という理論的な限界（エントロピー限界）を定める非常に重要な概念です。発生確率が高いデータには短い符号を、低いデータには長い符号を割り当てることで、無駄のない効率的な情報通信が実現されています。