問題
$$\frac{\partial}{\partial x}\ln{|\mathbf{A}|}=\mathrm{Tr} \left({\mathbf{A}^{-1}\frac{\partial\mathbf{A}}{\partial x}}\right)\tag{1}$$
を証明せよ。ただし、
$$\mathbf{u}_{i}^{T}\mathbf{u}_{j}=I_{ij}\tag{2}$$
$$\mathbf{A}=\sum_{i=1}^{M}\lambda_{i}\mathbf{u}_{i}\mathbf{u}_{i}^{T}\tag{3}$$
$$\mathbf{A}=\sum_{i=1}^{M}\frac{1}{\lambda_{i}}\mathbf{u}_{i}\mathbf{u}_{i}^{T}\tag{4}$$
$$|\mathbf{A}|=\prod_{i=1}^{M}\lambda_{i}\tag{5}$$
を用いてよい。ここで、\(\lambda_{i}, \mathbf{u}_{i}\) はそれぞれ、行列 \(\mathbf{A}\) の \(i\) 番目の固有値と固有ベクトルを表す。
証明
\((2)\) 式の両辺を \(x\) で微分して
$$\frac{\partial\mathbf{u}_{i}^{T}}{\partial x}\mathbf{u_{j}}+\mathbf{u}_{i}^{T}\frac{\partial\mathbf{u}_{j}}{\partial x}=0\tag{6}$$
\((1)\) 式の左辺を \((5)\) 式を用いて変形して
$$\frac{\partial}{\partial x}\ln{|A|}=\frac{\partial}{\partial x}\ln{\prod_{i=1}^{M}\lambda_{i}}$$
$$=\frac{\partial}{\partial x}\sum_{i=1}^{M}\ln{\lambda_{i}}$$
$$=\sum_{i=1}^{M}\frac{1}{\lambda_{i}}\frac{\partial\lambda_{i}}{\partial x}\tag{7}$$
また、\((3)\) 式の両辺を \(x\) で微分して
$$\frac{\partial \mathbf{A}}{\partial x}=\sum_{j=1}^{M}\left\{\frac{\partial\lambda_{j}}{\partial x}\mathbf{u}_{j}\mathbf{u}_{j}^{T}+\lambda_{j}\frac{\partial(\mathbf{u}_{j}\mathbf{u}_{j}^{T})}{\partial x}\right\}$$
$$=\sum_{j=1}^{M}\left\{\frac{\partial\lambda_{j}}{\partial x}\mathbf{u}_{j}\mathbf{u}_{j}^{T}+\lambda_{j}\left(\frac{\partial\mathbf{u}_{j}}{\partial x}\mathbf{u}_{j}^{T}+\mathbf{u}_{j}\frac{\partial\mathbf{u}_{j}^{T}}{\partial x}\right)\right\}$$
辺々に \((4)\) を左からかけると
$$\mathbf{A}^{-1}\frac{\partial \mathbf{A}}{\partial x}=\left(\sum_{i=1}^{M}\frac{1}{\lambda_{i}}\mathbf{u}_{i}\mathbf{u}_{i}^{T}\right)\left[\sum_{j=1}^{M}\left\{\frac{\partial\lambda_{j}}{\partial x}\mathbf{u}_{j}\mathbf{u}_{j}^{T}+\lambda_{j}\left(\frac{\partial\mathbf{u}_{j}}{\partial x}\mathbf{u}_{j}^{T}+\mathbf{u}_{j}\frac{\partial\mathbf{u}_{j}^{T}}{\partial x}\right)\right\}\right]$$
$$=\sum_{i=1}^{M}\sum_{j=1}^{M}\left\{\frac{1}{\lambda_{i}}\frac{\partial\lambda_{j}}{\partial x}\mathbf{u}_{i}\mathbf{u}_{i}^{T}\mathbf{u}_{j}\mathbf{u}_{j}^{T}+\frac{\lambda_{j}}{\lambda_{i}}\mathbf{u}_{i}\mathbf{u}_{i}^{T}\left(\frac{\partial\mathbf{u}_{j}}{\partial x}\mathbf{u}_{j}^{T}+\mathbf{u}_{j}\frac{\partial\mathbf{u}_{j}^{T}}{\partial x}\right)\right\}$$
上式の両辺のトレースを取ることを考え、第1、第2項のベクトルを含む部分について、それぞれ変形すると
$$\mathrm{Tr}\left[\mathbf{u}_{i}\mathbf{u}_{i}^{T}\mathbf{u}_{j}\mathbf{u}_{j}^{T}\right]=\mathrm{Tr}\left[\mathbf{u}_{i}^{T}\mathbf{u}_{j}\mathbf{u}_{j}^{T}\mathbf{u}_{i}\right]$$
$$=\left(\mathbf{u}_{i}^{T}\mathbf{u}_{j}\right)\left(\mathbf{u}_{j}^{T}\mathbf{u}_{i}\right)=I_{ij}I_{ji}=I_{ij}$$
$$\mathrm{Tr}\left[\mathbf{u}_{i}\mathbf{u}_{i}^{T}\left(\frac{\partial\mathbf{u}_{j}}{\partial x}\mathbf{u}_{j}^{T}+\mathbf{u}_{j}\frac{\partial\mathbf{u}_{j}^{T}}{\partial x}\right)\right]=\mathrm{Tr}\left[\mathbf{u}_{i}^{T}\left(\frac{\partial\mathbf{u}_{j}}{\partial x}\mathbf{u}_{j}^{T}+\mathbf{u}_{j}\frac{\partial\mathbf{u}_{j}^{T}}{\partial x}\right)\mathbf{u}_{i}\right]$$
$$=\mathrm{Tr}\left[\mathbf{u}_{i}^{T}\frac{\partial\mathbf{u}_{j}}{\partial x}\mathbf{u}_{j}^{T}\mathbf{u}_{i}+\mathbf{u}_{i}^{T}\mathbf{u}_{j}\frac{\partial\mathbf{u}_{j}^{T}}{\partial x}\mathbf{u}_{i}\right]=\mathrm{Tr}\left[\mathbf{u}_{i}^{T}\frac{\partial\mathbf{u}_{j}}{\partial x}I_{ji}+I_{ij}\frac{\partial\mathbf{u}_{j}^{T}}{\partial x}\mathbf{u}_{i}\right]$$
$$\mathrm{Tr}\left[\mathbf{u}_{i}^{T}\frac{\partial\mathbf{u}_{j}}{\partial x}+\frac{\partial\mathbf{u}_{j}^{T}}{\partial x}\mathbf{u}_{i}\right]I_{ij}=0\qquad(\because (6))$$
より、トレースを取ると第2項は \(0\) になり、第1項もトレースを外せる。したがって
$$\mathrm{Tr}\left({\mathbf{A}^{-1}\frac{\partial\mathbf{A}}{\partial x}}\right)=\sum_{i=1}^{M}\sum_{j=1}^{M}I_{ij}\frac{1}{\lambda_{i}}\frac{\partial\lambda_{j}}{\partial x}=\sum_{i=1}^{M}\frac{1}{\lambda_{i}}\frac{\partial\lambda_{i}}{\partial x}\tag{8}$$
\((7), (8)\) 式より
$$\frac{\partial}{\partial x}\ln{|\mathbf{A}|}=\mathrm{Tr} \left({\mathbf{A}^{-1}\frac{\partial\mathbf{A}}{\partial x}}\right)$$
が成り立つ。
解説
PRML上巻の付録Cで、319ページにて演習問題とされている。これと
$$\frac{\partial}{\partial\mathbf{A}}\mathrm{Tr}(\mathbf{AB})=\mathbf{B}^{T}$$
を用いて
$$\frac{\partial}{\partial\mathbf{A}}\mathrm{ln}|\mathbf{A}|=(\mathbf{A}^{-1})^{T}$$
が導かれる。
コメント