情報A：「明日の砂漠（非常に乾燥した地域）の天気は晴れです」
→ ほぼ毎日晴れるのが当たり前なので、この情報の「情報量は極めて少ない」です。

情報B：「明日の砂漠で大雨が降ります」
→ めったに起こらない非常に珍しい出来事なので、この情報の「情報量は非常に多い」です。

このように、「発生確率が低いことほど、知らされたときの驚き（情報量）が大きい」という関係を数学的に定義したものが情報量です。

もう少し詳しく