最尤推定法による多次元正規分布へのフィッティング

１次元の場合と同様に、対数尤度関数の微分を$0$とおくことで、多次元正規分布（多次元ガウス分布）にデータをフィットさせる。

定義
導出
まとめ

定義

多次元正規分布
$$\mathcal{N}({\bf x}|{\boldsymbol \mu},{\boldsymbol \Sigma}) \equiv \frac{|{\boldsymbol \Sigma}|^{-\frac{1}{2}}}{(2\pi)^\frac{M}{2}}\exp\left\{-\frac{1}{2}({\bf x}-{\boldsymbol \mu})^T{\boldsymbol \Sigma}^{-1}({\bf x}-{\boldsymbol \mu})\right\} \tag{1}$$

導出

観測結果 $\mathcal{D}={{\bf x}^{(1)},{\bf x}^{(2)},\cdots,{\bf x}^{(N)}}$ が与えられたとき、尤度関数は

で与えられる。両辺の対数を取ったものを対数尤度関数$L({\boldsymbol \theta}|\mathcal{D})$とおくと、

である。ここで、データが従う確率を多次元正規分布と仮定し、

とおいて式$(1)$とともに代入すると、

を得る。

${\boldsymbol \mu}$に関する微分を$0$とおくと、

すなわち、

を得る。

${\boldsymbol \Sigma}$に関しては、少々技巧的な処理が必要となる。ここでは、${\boldsymbol \Sigma}$ではなく${\boldsymbol \Sigma}^{-1}$についての微分を考える。

まず、式$(2)$の第１項は${\boldsymbol \Sigma}^{-1}$に依存しない。第２項の微分は、

となる。ここで、共分散行列が対象行列であること（${\boldsymbol \Sigma}^T={\boldsymbol \Sigma}$）と、公式

を用いた。この公式の証明については

を参照。

第３項の微分を行う前に、$({\bf x}^{(i)}-{\boldsymbol \mu})^T{\boldsymbol \Sigma}^{-1}({\bf x}^{(i)}-{\boldsymbol \mu})$は１次元（ベクトルでも行列でもない）なので、トレースを取っても良いことに注意する。したがって、

を得る。ここで、トレースについての循環公式

を用いた。これを${\boldsymbol \Sigma}^{-1}$について微分すると

となる。ここで、行列の転置に関する関係式

と、トレースの微分公式

を用いた。この公式は、各要素を書き下すことによって証明できる。

式$(4), (5)$の結果より、対数尤度関数の微分を$0$と置いて

すなわち

を得る。

まとめ

$M$次元の観測結果 $\mathcal{D}={{\bf x}^{(1)},{\bf x}^{(2)},\cdots,{\bf x}^{(N)}}$を、$M$次元正規分布にフィッティングした場合、最尤推定により

を得る。ただし