雑記

情報系で使う「情報エントロピー(平均情報量)」が、結局、統計力学のボルツマン流の「場合の数 (自由度)」の対数によるエントロピーの定義と基本は同じであることを理解するのは、そんなに難しくない。


いま  N 文字からなる単語があったとして、文字として異なる  k 種類の記号  1 k を使うことにする。それぞれの記号が文字として単語に使われる確率を  p_{i} とする。ここで、 \sum_{i = 1}^{k}p_{i} = 1 である。

すると、  N 文字の単語の中に、記号  i は、  Np_{i} 回使われていると見なす (エルゴート的な) 観点が存在してよい。その観点では、 N 文字の順列の数は、同じ記号を含むことを考慮に入れて、

 N! / \{(Np_1)! \cdots (Np_k)!\}

この対数を取ると、

 \log {[N! / \prod_{i=1}^{k} (Np_i)! ]}= \log {N!} -  \sum_ {i=1}^{k} \log {(Np_i)!}

となるが、  n が充分大きい場合、Stirling の公式から、

 \log {n!} \approx n\log{n} - n

となり (正確な式は

 {\displaystyle\begin{align} \underset {n \to \infty} {lim} (n!  -\sqrt{2\pi n}\frac{n^n}{e^n}) = 0\end{align}}

) 、一つ前の式の右辺は

 N \log{N} - N -  \sum_ {i=1}^{k} (Np_i \log {Np_i} - Np_i)\}

となるので、これを整理すれば、結局

 - N\sum_ {i=1}^{k} p_i \log {p_i}

と、簡単になる。これを文字数  N で割り、対数の底を 2 に変えたものが情報エントロピー (平均情報量)  H である。

 H = - \sum_ {i=1}^{k} p_i \log_2 {p_i} (ビット)

結局、エントロピーとは決定できない (観測者からはアクセスできない: 物質系では熱力学というマクロの観点からはアクセスできないミクロの分子の状態配置) 自由度としての情報をどの程度有しているかという尺度だといえるかもしれない。