1.情報の単位

私たちにとって最も簡単な情報とは何になるでしょうか?

おそらくそれは、「質問に対して“はい”か“いいえ”で答えられる情報」でしょう。


あなたは男ですか? はい 男である
いいえ 女である
 
あなたは大人ですか? はい 20歳以上である
いいえ 20歳未満である

このような情報はコンピュータで扱うことができ、 情報の判別はコンピュータが持つ素子のスイッチのON/OFF状態をあてはめることによって行います。 さらに、スイッチがONのときを“1”、OFFのときを“0”とすることで、 情報を定量的に扱うことが可能になります。


この “1”と“0”の2つの数字によって判別できる情報量を1つの単位とし、 それをビット(binary digit)と呼びます。

1ビットの情報から1つの情報を得ることができます。


最近は64ビットパソコンが主流になってきていますが、 これは64ビットの情報量を同時に処理できる能力を持っていることを表しています。 これは、今まで主流だった32ビットパソコンに対し倍の情報処理能力を持っていることになります。

2.情報量

前項のように「あなたは男ですか?」の問いからは、

「あなたは男である」 「あなたは女である」

のどちらか1つの情報を得ることができます。


この質問に「あなたは大人ですか?」の問いを加えると、次の4つの組み合わせのうちどれか1つが得られます。

(男∧大人) (男∧子供) (女∧大人) (女∧子供)

この質問からは、“男か女”、“大人か子供”の2つの情報が得られます。

このときの情報量は1ビットの質問を2つ組み合わせたものなので、2ビットになります。

<

さらに「あなたは右利きですか?」の問いを加えれば、次の8つのうちどれか1つの情報が得られることになります。

(男∧大人∧右) (男∧大人∧左)
(男∧子供∧右) (男∧子供∧左)
(女∧大人∧右) (女∧大人∧左)
(女∧子供∧右) (女∧子供∧左)

この情報量は1ビットの質問を3つ組み合わせたものなので、3ビットになります。


このように、 答えが2n個ある質問の情報量はnビットになります。


このとき、1つの疑問が持ち上がります。

答えが3つある質問が持つ情報量はどうやって表すのでしょうか?

このとき、次の関係式が成り立つはずです。


情報量の計算

これを計算すると、nは次の値になります。


情報量の計算

以上より、3つの答えを持つ質問から得られる情報量は1.585ビットとなります。

つまり、nは整数とは限りません。


また、これまでの話から1つ気づくことがあります。

それは、「2n個の答えの中からどれか1つが選択されるときの情報量はnビットである」ということは、 nビットの情報のうち 1つの答えが選択される確率は、 それらの選択がすべて等確率の場合1/2nになる、 ということです。

つまり、 情報とは確率と密接につながっている ことがわかります。

これは、確率的に低いことが起きた時の情報が世間に大きな衝撃を与えることからも、 容易に想像がつくと思います。


では、情報量と確率の結びつきを数式的に見てみます。

例えば、1つの質問に対し、Aという答えが得られる確率を1/5、Bという答えが得られる確率を4/5とします。

このとき、Aという答えは5個の選択肢があって初めて1個選択できることになるので、 情報量nAは次のようになります。


情報量の計算

それに対しBという答えは、5個の選択肢がある中の4個がBに該当する、 つまり1.25個の選択肢から1個選択するとBになるため、情報量nBは次のようになります。


情報量の計算

つまりAという答えから得る情報量とBという答えから得る情報量には差があり、


情報量の計算

になります。

このように、確率的に低い事象から得られる情報量がは大きくなっていることがわかります。

最後にまとめとして、確率Pの事象から得られる情報量nは次式で定義されていることになります。


情報量の計算

3.情報エントロピー

エントロピーとは、もともと熱力学において物質の状態変化が可逆か?不可逆か? を判断するために用いられた量です。 ここでは詳細な説明は省きますが、熱力学(統計力学)において物質を構成する原子等が無秩序に散らばった状態をエントロピーが大きい、 逆に整列した状態をエントロピーが小さい、という風に定義します。 そうすると、同じ温度の物体でも固体と液体なら液体の方がエントロピーは大きく、 液体と気体なら気体の方がエントロピーは大きくなります。 この考え方を用いることで、現実には永久機関は作れないことを証明できるようになります。


さて、この「無秩序に散らばった状態」というものを情報の世界にも当てはめてみよう、 というのが情報エントロピーです。

きちんと整理整頓され情報として価値を持つ場合は、情報エントロピーが小さいとし、 逆にいろんな情報がとっちらかって存在し、それらをまとめても何ら情報として価値を持たない場合、 情報エントロピーは大きいとします。

ただ、このような定性的な話だけではエントロピーを定量的に扱うことはできません。

そこで、情報エントロピーを次のように定義することで定量化します。


「ある質問や行為(=情報源)から平均的に得られる情報量の予測値」

これを数式で表現する場合、ある事象が起こる確率をPi、そこから得られる情報量をni、 エントロピーをHで表すと次のようになります。


情報エントロピーの定義

さて、このエントロピーHがどのようなグラフになるか?について見てみます。

ある事象Aが発生する確率をP、Bが発生する確率を1-Pとしたとき、エントロピーの特性は次のようになります。


情報エントロピーの微分

Pは確率であるため0≦P≦1であり、これを考慮に入れてグラフを描くと下図のようになります。


エントロピーのグラフ

このようにエントロピーHは確率Pに対して上に凸な関数となります。またエントロピーHを最大にする確率Pは次のようになります。


情報エントロピーの微分

つまり、発生事象が等確率な情報、つまり 五分五分の予想から得られるエントロピーは最大となり、 確率的に差が大きくなるほど得られるエントロピーは小さくなることがわかります。


この意味から、エントロピーは 情報の不確定さを表している、つまりエントロピーが小さければ、 それだけ情報の確からしさは上がるということを表しています。


ここで相撲を例にとり、情報のエントロピーを実際に計算してみます。

横綱力士Aさんと平幕力士Bさんの対戦から得られるエントロピー、 平幕力士Bさんと平幕力士Cさんの対戦から得られるエントロピーを計算します。

横綱Aさんと平幕Bさんの対戦成績は20勝5敗だとし、この力関係は普遍的と見ます。

すると横綱Aさんが平幕Bさんに勝つ確率と、平幕Bさんが横綱Aさんに勝つ確率は次のようになります。


情報エントロピーの計算

このとき、確率P1、P2から得られる情報量をそれぞれ n1、n2とすると次のようになります。


情報エントロピーの計算

これを(3-1)式に代入すると、この対戦から得られる情報エントロピーは次のようになります。


情報エントロピーの計算

それに対し、平幕Bさんと平幕Cさんの対戦成績は10勝10敗の五分だとすると、 この情報エントロピーは次のようになります。


情報エントロピーの計算

コメント


役に立った 役に立たなかった

広告

広告募集中
サイズ:150×150

広告募集中
サイズ:150×150

広告に関するお問い合せ

イベント・学会・展示会


学べる探せる設計技術-沐エンジニアリング

Ads by Google

Ads by Google

Ads by Google


技術計算製作所のソフトウエア購入は


Vectorソフトライブラリ/ビジネス

Amazon

技術計算製作所

技術計算製作所

画像をクリックするとpdfが開きます。