数学Properな複素確率変数の意味
概要 この記事では、複素確率変数における"Proper"とは何かについて、その定義と性質を見ていく。 なお、複素確率変数については以下を参照のこと。 Properとは 定義 複素確率変数 \(Z\) が以下の条件をすべて満たすとき、 \(Z...
数学
確率・統計確率変数の線形変換
確率変数の線形変換の公式 確率変数 \(X\) は確率密度関数 \(f(x)\) にしたがうとします。 確率変数の線形変換 $$Y=aX+b$$ （ただし、 \(a\neq0\) ）を行ったとき、 \(Y\) の確率密度関数 \(g(y)\...
確率・統計複素確率変数の性質
概要 複素確率変数はその名の通り、複素数の形態をとる確率変数のことである。 複素数が \(z=a+ib\) の形で表されることを考慮すれば、複素確率変数は実数の確率変数の組 \((a, b)\) として考えることができ、多次元確率変数の知見...
MatplotlibMatplotlibによる3Dプロット（簡単に）
概要 以前 等でMatplotlibを用いた３次元プロットについて述べたが、詳しい理屈は置いておいて、とりあえず図が書きたいという読者のために簡略版記事を作成した。 もっと複雑なことがしたい場合は、末尾に参考リンクを載せておいたのでそちらを...
機械学習・AI有界な分布を用いたEMアルゴリズムが、なぜ失敗するのか？【一様分布】
EMアルゴリズムは任意の確率分布からなる混合分布に対して適用可能だが、有界な分布を用いた場合には失敗しやすい。この記事では、一様分布を例にその理由を示したあと、Eステップ/Mステップの前にサンプリングを実施することで失敗を回避する方法について解説する。
機械学習・AI任意の確率分布でEMアルゴリズムを理解・実装する【正規分布以外も】
EMアルゴリズムは、混合正規分布の条件下で解説・実装される場合が多い。しかし本来、近似には任意の分布を用いることができる。この記事では、混合正規分布の場合に限らない任意の確率分布に対するEMアルゴリズムについて、理論と実践例をコードとともに提示する。
確率・統計一様分布の最尤推定
公式 一様分布 \(U(x|a,b)\) のパラメータについて、データ \(X=\{x_1,x_2,\ldots,x_N\}\) を用いて最尤推定を行ったとき $$a=\min(X), b=\max(X)$$ となる。ここで、 \(\min...
MatplotlibMatplotlibでアニメーションを作る: FuncAnimation の使い方
概要 PythonとMatplotlibを使って、プロット内容が少しずつ変わっていく様子を動画として保存する方法についてまとめる。 今回は、２種類の気体分子が半径１の円の中で運動する様子の描画を例として用いた。 成果物 こんなのができる。 ...
プログラミング仮想データセット配布【逆問題・不良設定問題】
概要 不良設定問題に対する機械学習を行うための、仮想データセットを作成した。 このデータセットでは、dataに３種類の（仮想の）血液検査値が与えられており、この値から、targetとして与えられた、体内に存在する８種類の（仮想の）細菌の比率...
Python尤度と誤差の関係―ガウス誤差モデル下のAIC, BIC
概要 WikipediaのBIC（ベイズ情報量基準）のページを読んでいると、BICは $$\mathrm{BIC}=-2\cdot\ln(L)+k\ln(n)\tag{1}$$ と定義されるが、ガウス誤差の下では $$\mathrm{BIC...