機械学習・AI行列式を変数・行列で微分・対数微分する方法と、その証明
多次元正規分布の最尤推定など、行列の最適化を行う際、行列式の微分を計算する必要があります。この記事では、行列式や行列式の対数を①変数で微分する方法と、②行列で微分する方法について解説します。また、機械学習分野の著名な書籍であるPRMLで、このテーマを扱っている部分の練習問題についても解答を掲載しています。
数学
機械学習・AI
確率・統計上極限集合/下極限集合とボレル・カンテリの補題【無限回試行の確率】
上極限集合と下極限集合を定義し、ボレル・カンテリの補題を導きます。これらは式にすると複雑に見えますが、ことばで表現すると簡単に理解することができます。とくにボレル・カンテリの補題は、無限回の試行に対する確率について、私たちの直観にあう解釈を成り立たせるための、基礎的な条件を述べたものに過ぎません。
数学複素数の指数関数・対数関数・べき乗と、それぞれの微分公式
指数関数・対数関数・べき乗は、それぞれ複素数に拡張して考えることができます。ただし、複素指数関数が周期関数となるため、指数と対数の関係は実数のときとは異なります。この記事では、複素指数関数・複素対数関数・複素数乗を定義し、その性質と微分公式について解説します。
数学ルジャンドル多項式の定義と性質 – 直交性の証明
定義 $$P_{n}(x)=\frac{1}{2^n n!} \frac{d^n}{d x^n} (x^2-1)^n,\quad(n=0,1,2,...)\tag{1}$$ で定義された関数 \(P_{n}(x)\) を、ルジャンドル（Le...
数学ルジャンドル多項式の定義と性質 – 実数解の存在証明
定義 $$P_{n}(x)=\frac{1}{2^n n!} \frac{d^n}{d x^n} (x^2-1)^n,\quad(n=0,1,2,...)\tag{1}$$ で定義された関数 \(P_{n}(x)\) を、ルジャンドル（Le...
数学ルジャンドル多項式の定義と性質、その証明
任意の関数は、ルジャンドル多項式の重ね合わせで表現することができます。また、ルジャンドル多項式はガウス求積法における積分点（ガウス点）を導くため、これを多用する有限要素法でも重要な多項式です。この記事では、ルジャンドル多項式を定義し、それがもつ性質について導出します。
Python【Pythonで異常検知】Chapter 1. １変数正規分布に基づく異常検知
概要 この章では、以下の手順にしたがって１変数データの異常検知をPythonで実践することを目標とする。 訓練用データを正規分布にフィッティングする得られた正規分布からテスト用データの異常度を求める異常度の閾値を設定し、それを上回るデータを...
確率・統計情報量/エントロピーの定義と意味を、具体例から導出する
情報理論では、情報量やエントロピー（平均情報量）を用いて、出来事（事象）に対する「驚き」や、未来に対する「不確実さ」を表現します。この記事では、具体例から情報量とエントロピーの自然な定義を導出し、それらが何に使えるのか？どのような性質を持つのか？について解説します。
確率・統計【図解】確率変数と確率密度関数を正確に、そして直観的に理解する
確率論で用いられる確率質量関数と確率密度関数について、確率変数の定義から出発して、実例や用途に基づいて直観的に解説します。これらの用語は非常に誤解しやすいのですが、この記事を読むことで、それぞれの正確な意味を押さえ、関連する性質や定理についての理解を早めることができるようになります。
確率・統計最尤推定法による正規分布へのフィッティング
観測された複数のデータがとある分布に基づいていると仮定して、その分布の形状を決定するパラメータを求める際、最尤推定法という手法がよく用いられる。この記事では、観測された結果が正規分布に従うと仮定した際に、最尤推定法を用いて平均 \(\mu\...