情報理論では、情報量やエントロピー（平均情報量）を用いて、出来事（事象）に対する「驚き」や、未来に対する「不確実さ」を表現します。 この記事では、具体例から情報量とエントロピーの自然な定義を導出し、それらが何に使えるのか … 続きを読む 情報量/エントロピーの定義と意味を、具体例から導出する