機械学習・AIPRML10章 演習10.39解答（その１：(10.217),(10.219)の導出）
問題、記号の意味、利用した式については を参照。 目標 \(q^{\mathrm{new}}(\boldsymbol{\theta})\) の平均と分散を \(q^{\backslash n}(\boldsymbol{\theta})f_{...
確率・統計
機械学習・AI
確率・統計多次元ガウス分布の平均と分散による微分
前提 この記事では、多次元ガウス分布 の各パラメータ \(\boldsymbol{\mu},a\) による微分を導出する。 なお、ここでは上式のように、当方的な共分散行列を仮定し、\(\mathbf{I}\) は単位行列である。 結論 平均...
機械学習・AI【PRML10章 演習10.38解答】EP法による事後分布の近似
PRML10章 演習10.38の解答・解説。EP法によって近似した事後分布の平均と分散を導出する。また、近似された事後分布と近似因子の積に関し、その正規化定数を計算する。
機械学習・AIPRML10章正誤表（10.7.1 例：雑音データ問題）
この記事では、「C.M.ビショップ『パターン認識と機械学習（下）ベイズ理論による統計的予測』（2012）丸善出版」（通称：PRML）における式の修正を行う。 なお、筆者はPRMLは初版第10刷（2018）を用い、修正内容は を参考にした。 ...
確率・統計一様分布の定義・性質とその証明
定義 連続変数 \(x\) が、有限区間 \(x\in\) で一様分布する場合、その確率密度関数 \(p(x)\) は $$p(x)=\frac{1}{b-a}$$ で定義される。 より一般に、分布が一様分布であることを明示して $$p(x...
確率・統計最尤推定法による多次元正規分布へのフィッティング
１次元の場合と同様に、対数尤度関数の微分を \(0\) とおくことで、多次元正規分布（多次元ガウス分布）にデータをフィットさせる。 定義 多次元正規分布 $$\mathcal{N}({\bf x}|{\boldsymbol \mu},{\b...
機械学習・AI行列式を変数・行列で微分・対数微分する方法と、その証明
多次元正規分布の最尤推定など、行列の最適化を行う際、行列式の微分を計算する必要があります。この記事では、行列式や行列式の対数を①変数で微分する方法と、②行列で微分する方法について解説します。また、機械学習分野の著名な書籍であるPRMLで、このテーマを扱っている部分の練習問題についても解答を掲載しています。
確率・統計上極限集合/下極限集合とボレル・カンテリの補題【無限回試行の確率】
上極限集合と下極限集合を定義し、ボレル・カンテリの補題を導きます。これらは式にすると複雑に見えますが、ことばで表現すると簡単に理解することができます。とくにボレル・カンテリの補題は、無限回の試行に対する確率について、私たちの直観にあう解釈を成り立たせるための、基礎的な条件を述べたものに過ぎません。
Python【Pythonで異常検知】Chapter 1. １変数正規分布に基づく異常検知
概要 この章では、以下の手順にしたがって１変数データの異常検知をPythonで実践することを目標とする。 訓練用データを正規分布にフィッティングする得られた正規分布からテスト用データの異常度を求める異常度の閾値を設定し、それを上回るデータを...
確率・統計情報量/エントロピーの定義と意味を、具体例から導出する
情報理論では、情報量やエントロピー（平均情報量）を用いて、出来事（事象）に対する「驚き」や、未来に対する「不確実さ」を表現します。この記事では、具体例から情報量とエントロピーの自然な定義を導出し、それらが何に使えるのか？どのような性質を持つのか？について解説します。