情報量は、アメリカの数学者クロード・シャノンが提唱した「情報理論」によって数学的に厳密に定義されました。事象が発生する確率を $p$ としたとき、その事象が持っている情報量（自己情報量）は $-\log_2(p)$ ビットとして表されます。例えば、確率1/2で起きる事象の情報量は1ビット、確率1/4なら2ビットとなります。また、情報源から出力される情報量の平均値を「エントロピー（平均情報量）」と呼びます。エントロピーは、データの「不確実さ」や「乱雑さ」の度合いを示す指標であり、ハフマン符号などのデータ圧縮技術（可逆圧縮）における「どこまでデータを小さく圧縮できるか」という理論的な限界（エントロピー限界）を定める非常に重要な概念です。発生確率が高いデータには短い符号を、低いデータには長い符号を割り当てることで、無駄のない効率的な情報通信が実現されています。
「発生確率 $p$ の情報量は $-\log_2(p)$ で計算される」という公式を用いた計算問題が出題されることがあります。例えば、「確率が1/8の事象が起きたときの情報量は何ビットか」という問題（正解は3ビット）など、底が2の対数計算（$\log_2$）の意味を理解しておく必要があります。また、「エントロピー」という言葉が情報理論において「平均情報量」や「情報の不確実さの度合い」を意味するキーワードとして問われることも多く、データ圧縮アルゴリズムの理論的背景としてハフマン符号などとセットで用語の定義を正確に暗記しておくことがポイントです。
エントロピー、ハフマン符号、シャノン