前提
この記事では、多次元ガウス分布
$$p(\mathbf{x})=\mathcal{N}(\mathbf{x}|\boldsymbol{\mu},a\mathbf{I})$$
$$=\frac{1}{(2\pi a)^{D/2}}\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}$$
の各パラメータ \(\boldsymbol{\mu},a\) による微分を導出する。
なお、ここでは上式のように、当方的な共分散行列を仮定し、\(\mathbf{I}\) は単位行列である。
結論
平均による微分
$$\frac{\partial p(\mathbf{x})}{\partial \boldsymbol{\mu}}=\frac{\mathbf{x}-\boldsymbol{\mu}}{a}p(\mathbf{x})$$
分散による微分
$$\frac{\partial p(\mathbf{x})}{\partial a}=\frac{1}{2a}\left\{\frac{1}{a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})-D\right\}p(\mathbf{x})$$
導出
平均による微分
$$\frac{\partial p(\mathbf{x})}{\partial \boldsymbol{\mu}}=\frac{1}{(2\pi a)^{D/2}}\cdot\left(-\frac{1}{2a}\cdot -2(\mathbf{x}-\boldsymbol{\mu})\right)\cdot\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}$$
$$=\frac{\mathbf{x}-\boldsymbol{\mu}}{a}\cdot\frac{1}{(2\pi a)^{D/2}}\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}=\frac{\mathbf{x}-\boldsymbol{\mu}}{a}p(\mathbf{x})$$
分散による微分
$$\frac{\partial p(\mathbf{x})}{\partial a}=\frac{1}{(2\pi)^{D/2}}\biggl\{-\frac{D}{2}a^{-D/2-1}\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}+a^{-D/2}\frac{1}{2a^{2}}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}\biggr\}$$
$$=\frac{1}{(2\pi)^{D/2}}\frac{1}{a^{D/2}}\exp{\left(-\frac{1}{2a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right)}\left\{-\frac{D}{2a}+\frac{1}{2a^{2}}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})\right\}$$
$$=\frac{1}{2a}\left\{\frac{1}{a}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}}(\mathbf{x}-\boldsymbol{\mu})-D\right\}p(\mathbf{x})$$
コメント