コイントスを１００回してみよう。偏りのないコインであれば，表が５０回，裏が５０回出ると予想されるが，当然，１００回のうち表と裏がどんな順序で出るかはランダムである。次に，１回目から１００回目まで，それぞれ表と裏のどちらが出たかをだれかに伝えるとする——口頭で伝えるには長すぎるのは言うまでもない。伝え方は，すべての結果を続けて言うのでもいいし（「表，表，裏，表，裏……」），表または裏が出た回の番号だけを言い（「１回目，２回目，４回目……」），もう一方が出たときは言わないというのでもいい。どちらの場合も，伝える言葉はほぼ同じ長さになる。
しかし，表裏の出方に偏りのあるコインであれば，話はもっと簡単になる。表が３０パーセントしか出ないコインであれば，表が出た方だけを言えば，伝える言葉を短くできる。表が８０パーセント出るコインであれば，裏が出た方だけを言えばいい。コインの偏りが強ければ強いほど，伝える言葉は短くでき，この場合の「限界」である完全に出方が偏ったコインであれば，すべての結果を一言——「表」または「裏」——にまで圧縮できる。
コインの偏りが強いほどコイントスの結果を短い言葉で表現できるとすれば，その場合，その結果に含まれている情報は文字通り少ないと言っていいだろう。この論理を延長すれば同じことが１回１回のコイントスにも当てはまる。直感的でないため不気味に思えるかもしれないが，何回目のコイントスであれ，コインの偏りが強いほど，その回のコイントス自体に含まれる情報は少なくなるのだ。表が７０回出て裏が３０回出るコイントスは，表も裏も５０回ずつ出るコインを使ったコイントスと比べて情報は少ないというのはいいだろう。これが「情報エントロピー」の直感的な意味で，情報の量を測定できるという概念である。
ブライアン・クリスチャン 吉田晋治（訳） (2012). 機械より人間らしくなれるか：AIとの対話が，人間でいることの意味を教えてくれる 草思社 pp.306-307
PR
