情報量の解説(基本情報技術者シラバス用語)

目次

情報量とは

情報量(じょうほうりょう)とは、ある出来事や情報が「どれくらい珍しいか(予測しにくいか)」を数値で表した尺度です。統計や情報の理論において、めったに起こらない珍しい出来事を知ることほど「価値が高い(情報量が多い)」と捉え、逆に当たり前のわかりきったことについては「情報量が少ない(またはゼロ)」とみなします。この情報量を測定する基本的な単位が「ビット(bit)」であり、すべての情報を0か1かの選択肢に絞り込む回数に対応しています。ITの分野では、データを圧縮してファイルサイズを小さくする際や、通信回線でどれだけのデータを効率よく送れるかを計算する際の理論的な基礎となっています。

具体例

天気予報を例に、情報量の違いを考えてみましょう。

情報A:「明日の砂漠(非常に乾燥した地域)の天気は晴れです」
→ ほぼ毎日晴れるのが当たり前なので、この情報の「情報量は極めて少ない」です。

情報B:「明日の砂漠で大雨が降ります」
→ めったに起こらない非常に珍しい出来事なので、この情報の「情報量は非常に多い」です。

このように、「発生確率が低いことほど、知らされたときの驚き(情報量)が大きい」という関係を数学的に定義したものが情報量です。

もう少し詳しく

情報量は、アメリカの数学者クロード・シャノンが提唱した「情報理論」によって数学的に厳密に定義されました。事象が発生する確率を $p$ としたとき、その事象が持っている情報量(自己情報量)は $-\log_2(p)$ ビットとして表されます。例えば、確率1/2で起きる事象の情報量は1ビット、確率1/4なら2ビットとなります。また、情報源から出力される情報量の平均値を「エントロピー(平均情報量)」と呼びます。エントロピーは、データの「不確実さ」や「乱雑さ」の度合いを示す指標であり、ハフマン符号などのデータ圧縮技術(可逆圧縮)における「どこまでデータを小さく圧縮できるか」という理論的な限界(エントロピー限界)を定める非常に重要な概念です。発生確率が高いデータには短い符号を、低いデータには長い符号を割り当てることで、無駄のない効率的な情報通信が実現されています。

試験でのポイント

「発生確率 $p$ の情報量は $-\log_2(p)$ で計算される」という公式を用いた計算問題が出題されることがあります。例えば、「確率が1/8の事象が起きたときの情報量は何ビットか」という問題(正解は3ビット)など、底が2の対数計算($\log_2$)の意味を理解しておく必要があります。また、「エントロピー」という言葉が情報理論において「平均情報量」や「情報の不確実さの度合い」を意味するキーワードとして問われることも多く、データ圧縮アルゴリズムの理論的背景としてハフマン符号などとセットで用語の定義を正確に暗記しておくことがポイントです。

関連する用語

エントロピー、ハフマン符号、シャノン

読んだ内容を10問練習と実技で確認

記事で理解した用語を、StudyQuestの演習とクラウド実技ラボで定着させます。

10問練習 実技ラボ