最尤推定法による多次元正規分布へのフィッティング

確率・統計
スポンサーリンク

1次元の場合と同様に、対数尤度関数の微分を\(0\)とおくことで、多次元正規分布(多次元ガウス分布)にデータをフィットさせる。

定義

多次元正規分布

$$\mathcal{N}({\bf x}|{\boldsymbol \mu},{\boldsymbol \Sigma}) \equiv \frac{|{\boldsymbol \Sigma}|^{-\frac{1}{2}}}{(2\pi)^\frac{M}{2}}\exp\left\{-\frac{1}{2}({\bf x}-{\boldsymbol \mu})^T{\boldsymbol \Sigma}^{-1}({\bf x}-{\boldsymbol \mu})\right\} \tag{1}$$

導出

観測結果 \(\mathcal{D}={{\bf x}^{(1)},{\bf x}^{(2)},\cdots,{\bf x}^{(N)}}\) が与えられたとき、尤度関数は

で与えられる。両辺の対数を取ったものを対数尤度関数\(L({\boldsymbol \theta}|\mathcal{D})\)とおくと、

である。ここで、データが従う確率を多次元正規分布と仮定し、

とおいて式\((1)\)とともに代入すると、

を得る。

\({\boldsymbol \mu}\)に関する微分を\(0\)とおくと、

すなわち、

を得る。

\({\boldsymbol \Sigma}\)に関しては、少々技巧的な処理が必要となる。ここでは、\({\boldsymbol \Sigma}\)ではなく\({\boldsymbol \Sigma}^{-1}\)についての微分を考える。

まず、式\((2)\)の第1項は\({\boldsymbol \Sigma}^{-1}\)に依存しない。第2項の微分は、

となる。ここで、共分散行列が対象行列であること(\({\boldsymbol \Sigma}^T={\boldsymbol \Sigma}\))と、公式

を用いた。この公式の証明については

を参照。

第3項の微分を行う前に、\(({\bf x}^{(i)}-{\boldsymbol \mu})^T{\boldsymbol \Sigma}^{-1}({\bf x}^{(i)}-{\boldsymbol \mu})\)は1次元(ベクトルでも行列でもない)なので、トレースを取っても良いことに注意する。したがって、

を得る。ここで、トレースについての循環公式

を用いた。これを\({\boldsymbol \Sigma}^{-1}\)について微分すると

となる。ここで、行列の転置に関する関係式

と、トレースの微分公式

を用いた。この公式は、各要素を書き下すことによって証明できる。

式\((4), (5)\)の結果より、対数尤度関数の微分を\(0\)と置いて

すなわち

を得る。

まとめ

\(M\)次元の観測結果 \(\mathcal{D}={{\bf x}^{(1)},{\bf x}^{(2)},\cdots,{\bf x}^{(N)}}\)を、\(M\)次元正規分布にフィッティングした場合、最尤推定により

を得る。ただし

コメント