情報量の定義とエントロピー

情報理論はその名の通り、情報の数量的構造を論ずる学問である。情報を学問として扱うためには、それを量として表すことができる指標を定義する必要がある。この記事では、情報を量的に扱うための指標である情報量について、それが満足すべき特徴から定義を導出し、さらに、それを一般的な状況に適用するためのエントロピーという指標についても定義する。 情報量 考慮すべき特徴 情報を数量的に扱うためには「情報の量」を定義する必要があり、その定義には、一般的に理解されているような情報の性質が組み込まれなければならない。 具体的に議論を進めるために、以下のような状況を設定する。 東地区 西地区 北通り A D 中通り B E 南通り C F とある市の美術館で絵の盗難事件が起き、犯人である怪盗Xは現在、この市のどこかに潜伏していることがわかっている。この市は東と西の2つの地区に分けられ、それぞれの地区には北・中・南の通りが存在する。つまり、この市には上の表のA~Fまでの6つの地域があるのだが、怪盗Xはこのうちのどこかに潜伏している。 この後、この市の警察署にさまざまな情報が寄せられ、それらを考慮した結果、怪盗Xの逮捕に至るのであるが、寄せられたそれぞれの情報には有効性に違いがある。この「有効性」のことを情報量と呼ばれる指標で表現することにしよう。 もし、この市が6つではなく60の地域に分けられていた場合、それらのうち1つに怪盗Xがいることを特定できる情報の価値は、6つの地域から1つを特定する場合よりも大きくなるだろう。よって、...
2019年2月12日0 DownloadsDownload