1次元の場合と同様に、対数尤度関数の微分を\(0\)とおくことで、多次元正規分布(多次元ガウス分布)にデータをフィットさせる。
定義
多次元正規分布
$$\mathcal{N}({\bf x}|{\boldsymbol \mu},{\boldsymbol \Sigma}) \equiv \frac{|{\boldsymbol \Sigma}|^{-\frac{1}{2}}}{(2\pi)^\frac{M}{2}}\exp\left\{-\frac{1}{2}({\bf x}-{\boldsymbol \mu})^T{\boldsymbol \Sigma}^{-1}({\bf x}-{\boldsymbol \mu})\right\} \tag{1}$$
導出
観測結果 \(\mathcal{D}={{\bf x}^{(1)},{\bf x}^{(2)},\cdots,{\bf x}^{(N)}}\) が与えられたとき、尤度関数は
で与えられる。両辺の対数を取ったものを対数尤度関数\(L({\boldsymbol \theta}|\mathcal{D})\)とおくと、
である。ここで、データが従う確率を多次元正規分布と仮定し、
とおいて式\((1)\)とともに代入すると、
を得る。
\({\boldsymbol \mu}\)に関する微分を\(0\)とおくと、
すなわち、
を得る。
\({\boldsymbol \Sigma}\)に関しては、少々技巧的な処理が必要となる。ここでは、\({\boldsymbol \Sigma}\)ではなく\({\boldsymbol \Sigma}^{-1}\)についての微分を考える。
まず、式\((2)\)の第1項は\({\boldsymbol \Sigma}^{-1}\)に依存しない。第2項の微分は、
となる。ここで、共分散行列が対象行列であること(\({\boldsymbol \Sigma}^T={\boldsymbol \Sigma}\))と、公式
を用いた。この公式の証明については
を参照。
第3項の微分を行う前に、\(({\bf x}^{(i)}-{\boldsymbol \mu})^T{\boldsymbol \Sigma}^{-1}({\bf x}^{(i)}-{\boldsymbol \mu})\)は1次元(ベクトルでも行列でもない)なので、トレースを取っても良いことに注意する。したがって、
を得る。ここで、トレースについての循環公式
を用いた。これを\({\boldsymbol \Sigma}^{-1}\)について微分すると
となる。ここで、行列の転置に関する関係式
と、トレースの微分公式
を用いた。この公式は、各要素を書き下すことによって証明できる。
式\((4), (5)\)の結果より、対数尤度関数の微分を\(0\)と置いて
すなわち
を得る。
まとめ
\(M\)次元の観測結果 \(\mathcal{D}={{\bf x}^{(1)},{\bf x}^{(2)},\cdots,{\bf x}^{(N)}}\)を、\(M\)次元正規分布にフィッティングした場合、最尤推定により
を得る。ただし
コメント