機械学習・AI有界な分布を用いたEMアルゴリズムが、なぜ失敗するのか？【一様分布】
EMアルゴリズムは任意の確率分布からなる混合分布に対して適用可能だが、有界な分布を用いた場合には失敗しやすい。この記事では、一様分布を例にその理由を示したあと、Eステップ/Mステップの前にサンプリングを実施することで失敗を回避する方法について解説する。
Python
機械学習・AI
機械学習・AI任意の確率分布でEMアルゴリズムを理解・実装する【正規分布以外も】
EMアルゴリズムは、混合正規分布の条件下で解説・実装される場合が多い。しかし本来、近似には任意の分布を用いることができる。この記事では、混合正規分布の場合に限らない任意の確率分布に対するEMアルゴリズムについて、理論と実践例をコードとともに提示する。
確率・統計一様分布の最尤推定
公式 一様分布 \(U(x|a,b)\) のパラメータについて、データ \(X=\{x_1,x_2,\ldots,x_N\}\) を用いて最尤推定を行ったとき $$a=\min(X), b=\max(X)$$ となる。ここで、 \(\min...
MatplotlibMatplotlibでアニメーションを作る: FuncAnimation の使い方
概要 PythonとMatplotlibを使って、プロット内容が少しずつ変わっていく様子を動画として保存する方法についてまとめる。 今回は、２種類の気体分子が半径１の円の中で運動する様子の描画を例として用いた。 成果物 こんなのができる。 ...
Python尤度と誤差の関係―ガウス誤差モデル下のAIC, BIC
概要 WikipediaのBIC（ベイズ情報量基準）のページを読んでいると、BICは $$\mathrm{BIC}=-2\cdot\ln(L)+k\ln(n)\tag{1}$$ と定義されるが、ガウス誤差の下では $$\mathrm{BIC...
確率・統計01-Kendall 順位相関係数の効率的な計算法
概要 この記事では、 01-Kendall 順位相関係数 2 値 Kendall 順位相関係数 Binary Kendall 順位相関係数 などと呼ばれそうな、Kendall 順位相関係数 の特殊な場合の計算法についてまとめる。ようするに ...
確率・統計同一の分布にしたがう確率変数の最大値の分布
動機 乱数をたくさん発生させたとき、その最大値はどんなふうに分布することになるのか気になった。 問題 確率密度関数 \(f\) にしたがう連続確率変数 \(X\) を考える。独立に \(n\) 個のサンプルを発生させ、その最大値を \(Y\...
PythonGeoPandasのインストールに失敗した場合の対処法（Fiona/GDALのエラー + Rtreeのインストール）
この記事は Pythonの環境によっては、pipを用いたGeoPandasのインストールに失敗するみたいです。 私は失敗しました。 というわけで、解決策を記録しておきます。 （この記事では、GeoPandasのインストール中にFiona関連...
PythonK-meansクラスタリング―任意の距離を持つデータに対する応用―
概要 空間内の点をいくつかのグループに分割することを考え、データにK-meansクラスタリングアルゴリズムを適用する。応用例として、MDSを用いて点同士の距離が任意となる場合（直線距離でなく道のりが与えられる等）の最適化手法についても考える...
プログラミング日本の県庁所在地の緯度経度を配列にしたもの
毎回作るのが面倒なので、共有しておきます。 name = [ "札幌市", "青森市", "盛岡市", "仙台市", "秋田市", "山形市", "福島市", "水戸市", "宇都宮市", "前橋市", "さいたま市", "千葉市", "新...