ndarrayburn – Rust製DeepLearningフレームワークの紹介
burnはRust製の深層学習（Deep Learning）フレームワークです。 現在活発に開発が進められており、最新のコードやサンプルには、Githubリポジトリからアクセスできます。 この記事では、burnの特徴や、Rustの記法を活用...
機械学習・AI
ndarray
Python球面上の機械学習（パラメータの総和が一定となる条件下で）
概要 パラメータの総和が一定となる条件の下で、データから、これらのパラメータを学習（最適化）する方法を考える。すなわち $$x_1+x_2+\cdots+x_n=k$$ となる条件のもとで、これらのパラメータをデータに対し最適化することを考...
機械学習・AI有界な分布を用いたEMアルゴリズムが、なぜ失敗するのか？【一様分布】
EMアルゴリズムは任意の確率分布からなる混合分布に対して適用可能だが、有界な分布を用いた場合には失敗しやすい。この記事では、一様分布を例にその理由を示したあと、Eステップ/Mステップの前にサンプリングを実施することで失敗を回避する方法について解説する。
機械学習・AI任意の確率分布でEMアルゴリズムを理解・実装する【正規分布以外も】
EMアルゴリズムは、混合正規分布の条件下で解説・実装される場合が多い。しかし本来、近似には任意の分布を用いることができる。この記事では、混合正規分布の場合に限らない任意の確率分布に対するEMアルゴリズムについて、理論と実践例をコードとともに提示する。
Python尤度と誤差の関係―ガウス誤差モデル下のAIC, BIC
概要 WikipediaのBIC（ベイズ情報量基準）のページを読んでいると、BICは $$\mathrm{BIC}=-2\cdot\ln(L)+k\ln(n)\tag{1}$$ と定義されるが、ガウス誤差の下では $$\mathrm{BIC...
PythonK-meansクラスタリング―任意の距離を持つデータに対する応用―
概要 空間内の点をいくつかのグループに分割することを考え、データにK-meansクラスタリングアルゴリズムを適用する。応用例として、MDSを用いて点同士の距離が任意となる場合（直線距離でなく道のりが与えられる等）の最適化手法についても考える...
機械学習・AIPRML（パターン認識と機械学習）演習問題【難問】解答集
C.M.ビショップ著、PRML（パターン認識と機械学習―ベイズ理論による統計的予測、）の演習問題において、【難問】に指定されている問題の解答集。解答を当サイトに投稿し次第、またはどこかで見つけ次第、リンクを増やしていく。
機械学習・AI【PRML10章 演習10.39解答】EP法による事後分布の更新
PRML10章 演習10.39の解答・解説。EP法によって更新した事後分布の平均と分散を導出する。それに際し、パラメータの期待値を計算する。その後近似因子のパラメータを求め、モデルエビデンスが近似される値を導く。
機械学習・AIPRML10章 演習10.39解答（その４：(10.223),(10.224)の導出）
問題、記号の意味、利用した式については を参照。 目標 モデルエビデンスが $$p(\mathcal{D})\simeq\left(\frac{\nu^{\mathrm {new}}}{b}\right)^{D/2}\left\exp{\l...
機械学習・AIPRML10章 演習10.39解答（その３：(10.220)-(10.222)の導出）
問題、記号の意味、利用した式については を参照。 目標 改良された近似因子 \(\tilde{f}_{n}(\boldsymbol{\theta})\) のパラメータが $$\nu_{n}^{-1}=(\nu^{\mathrm{new}})...