機械学習・AIPRML10章 演習10.39解答（その４：(10.223),(10.224)の導出）
問題、記号の意味、利用した式については を参照。 目標 モデルエビデンスが $$p(\mathcal{D})\simeq\left(\frac{\nu^{\mathrm {new}}}{b}\right)^{D/2}\left\exp{\l...
mathematics
機械学習・AI
機械学習・AIPRML10章 演習10.39解答（その３：(10.220)-(10.222)の導出）
問題、記号の意味、利用した式については を参照。 目標 改良された近似因子 \(\tilde{f}_{n}(\boldsymbol{\theta})\) のパラメータが $$\nu_{n}^{-1}=(\nu^{\mathrm{new}})...
機械学習・AIPRML10章 演習10.39解答（その２：(10.218)の導出）
問題、記号の意味、利用した式については を参照。 目標 \(q^{\mathrm{new}}(\boldsymbol{\theta})\) の平均と分散を \(q^{\backslash n}(\boldsymbol{\theta})f_{...
機械学習・AIPRML10章 演習10.39解答（その１：(10.217),(10.219)の導出）
問題、記号の意味、利用した式については を参照。 目標 \(q^{\mathrm{new}}(\boldsymbol{\theta})\) の平均と分散を \(q^{\backslash n}(\boldsymbol{\theta})f_{...
確率・統計多次元ガウス分布の平均と分散による微分
前提 この記事では、多次元ガウス分布 の各パラメータ \(\boldsymbol{\mu},a\) による微分を導出する。 なお、ここでは上式のように、当方的な共分散行列を仮定し、\(\mathbf{I}\) は単位行列である。 結論 平均...
機械学習・AI【PRML10章 演習10.38解答】EP法による事後分布の近似
PRML10章 演習10.38の解答・解説。EP法によって近似した事後分布の平均と分散を導出する。また、近似された事後分布と近似因子の積に関し、その正規化定数を計算する。
機械学習・AIPRML10章正誤表（10.7.1 例：雑音データ問題）
この記事では、「C.M.ビショップ『パターン認識と機械学習（下）ベイズ理論による統計的予測』（2012）丸善出版」（通称：PRML）における式の修正を行う。 なお、筆者はPRMLは初版第10刷（2018）を用い、修正内容は を参考にした。 ...
確率・統計一様分布の定義・性質とその証明
定義 連続変数 \(x\) が、有限区間 \(x\in\) で一様分布する場合、その確率密度関数 \(p(x)\) は $$p(x)=\frac{1}{b-a}$$ で定義される。 より一般に、分布が一様分布であることを明示して $$p(x...
数学定積分を微分する公式とその証明
公式 \(f(t)\) を \(t\) に関する１変数関数、\(p(x), q(x)\) をそれぞれ \(x\) に関する１変数関数とすると$$\frac{d}{dx}\int_{p(x)}^{q(x)}f(t)dt=f(q(x))q'(x...
確率・統計最尤推定法による多次元正規分布へのフィッティング
１次元の場合と同様に、対数尤度関数の微分を \(0\) とおくことで、多次元正規分布（多次元ガウス分布）にデータをフィットさせる。 定義 多次元正規分布 $$\mathcal{N}({\bf x}|{\boldsymbol \mu},{\b...