スポンサーリンク

多次元ガウス分布の平均と分散による微分

自然科学

前提

この記事では、多次元ガウス分布

$$p(\mathbf{x})=\mathcal{N}(\mathbf{x}|\boldsymbol{\mu},a\mathbf{I})$$
$$=\frac{1}{(2\pi a)^{D/2}}\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}$$

の各パラメータ \(\boldsymbol{\mu},a\) による微分を導出する。

なお、ここでは上式のように、当方的な共分散行列を仮定し、\(\mathbf{I}\) は単位行列である。

結論

平均による微分

$$\frac{\partial p(\mathbf{x})}{\partial \boldsymbol{\mu}}=\frac{\mathbf{x}-\boldsymbol{\mu}}{a}p(\mathbf{x})$$

分散による微分

$$\frac{\partial p(\mathbf{x})}{\partial a}=\frac{1}{2a}\left\{\frac{1}{a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})-D\right\}p(\mathbf{x})$$

導出

平均による微分

$$\frac{\partial p(\mathbf{x})}{\partial \boldsymbol{\mu}}=\frac{1}{(2\pi a)^{D/2}}\cdot\left(-\frac{1}{2a}\cdot -2(\mathbf{x}-\boldsymbol{\mu})\right)\cdot\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}$$
$$=\frac{\mathbf{x}-\boldsymbol{\mu}}{a}\cdot\frac{1}{(2\pi a)^{D/2}}\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}=\frac{\mathbf{x}-\boldsymbol{\mu}}{a}p(\mathbf{x})$$

分散による微分

$$\frac{\partial p(\mathbf{x})}{\partial a}=\frac{1}{(2\pi)^{D/2}}\biggl\{-\frac{D}{2}a^{-D/2-1}\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}+a^{-D/2}\frac{1}{2a^{2}}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}\biggr\}$$
$$=\frac{1}{(2\pi)^{D/2}}\frac{1}{a^{D/2}}\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}\left\{-\frac{D}{2a}+\frac{1}{2a^{2}}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right\}$$
$$=\frac{1}{2a}\left\{\frac{1}{a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})-D\right\}p(\mathbf{x})$$

コメント