１次元正規分布の１次結合についての公式

定理

\(x\) と \(x'\) が独立に正規分布 \(\mathcal{N}(\mu,\sigma)\) にしたがうとき、定数 \(a,b\) を用いて作られる確率変数 \(ax+bx'\) は、平均 \((a+b)\mu\) 、分散 \(\sigma^2(a^2+b^2)\) の正規分布に従う。

証明

$$v=ax+bx'$$

とおき、この \(v\) の確率分布 \(p(v)\) を考える。上式を変形すると

$$v=a\sigma(\frac{x-\mu}{\sigma})+b\sigma(\frac{x'-\mu}{\sigma})+(a+b)\mu$$

となるが、ここで

$$x_1=\frac{x-\mu}{\sigma}$$

$$x_2=\frac{x'-\mu}{\sigma}$$

とおくと、逆関数が一意に定義できる場合の確率密度関数の変換公式

確率密度関数 \(p(x)\) に従う確率変数 \(x\) が \(y=tx+b\) として変換されるとき、

\(y\) の確率密度関数 \(q(y)\) は

$$q(y) = \frac{1}{|t|}p(\frac{y-b}{t}) \tag{1}$$

と表される。

確率密度関数における変数変換の公式と、その考え方

確率密度関数は積分を用いて確率を表現する方法です。そのため、確率変数を変換した際には置換積分を応用することで、対応する確率密度関数を求めることができます。この記事では、確率密度関数やヤコビアンの性質からスタートし、確率密度関数を変換する公式と考え方について解説します。

ushitora.net

2023.10.02

（上のページ中で導出されている変換公式は、この後の証明でも度々利用する）

より、 (x_1,x_2\) のそれぞれが独立に標準正規分布 \(\mathcal{N}(0,1)\) に従うことがわかる。

（なぜならば、

$$x=\sigma x_1+\mu$$

より

$$Q(x) = \frac{1}{\sigma}P(\frac{x-\mu}{\sigma}) = \frac{1}{\sigma}P(x_1)$$

$$P(x_1) = \sigma Q(x)$$

であり、ここで

$$Q(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}$$

を代入すると<

$$P(x_1) = \sigma\cdot\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2\}$$

$$P(x_1) = \frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}{x_1}^2) = \mathcal{N}(0,1)$$

が導かれ、 \(x_2\) についても同様である。）

次に、 \(v\) についての一次式で表される

$$u = \frac{1}{a\sigma}v-\frac{\mu}{a\sigma}(a+b) \tag{2}$$

の確率分布について考える。このとき

$$u = x_1+\beta x_2$$

（ただし、 \(\beta=\frac{b}{a}\) ）と表せることに注目すると、現在考えているのは、標準正規分布 \(\mathcal{N}(0,1)\) に独立に従う確率変数 \(x_1,x_2\) から作られる確率変数 \(u\) の分布関数 \(q(u)\) を求めるという問題であることがわかる。ここで、逆変換が一意に存在しない場合の確率密度関数の変換公式

\(M\) 次元の確率変数 \({\bf x}=(x_1,x_2,\cdots,x_M)\) が、 \(z=f({\bf x})=f(x_1,x_2,\cdots,x_M)\) によって \(1\) 次元の確率変数 \(z\) に変換されるとき、 \(z\) の確率密度関数 \(q(z)\) は、 \({\bf x}\) の確率密度関数 \(p(x_1,x_2,\cdots,x_M)\) を用いて

$$q(z)=\int_{R}\delta(z-f(x_1,x_2,\cdots,x_M))p(x_1,x_2,\cdots,x_M)d{\bf x}$$

と表される。

より

$$q(u)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\delta(u-x_1-\beta x_2)\mathcal{N}(x_1|0,1)\mathcal{N}(x_2|0,1)dx_1dx_2$$

が成り立ち、先に \(x_1\) についての積分を実行すると、ディラックのデルタ関数の性質

$$\int_{-\infty}^{\infty}f(x)\delta(x-a)dx=f(a)$$

$$\delta(-x)=\delta(x)$$

定義とイメージで理解する、クロネッカーのデルタ/ディラックのデルタ関数

デルタ関数は条件分岐や積分で活躍する便利な関数です。ここではクロネッカーのデルタ・ディラックのデルタ関数を定義し、それらが持つ性質を網羅的に解説します。この記事を読むことで、デルタ関数のイメージを掴み、数式上でif文やパルスを表現することができるようになります。

ushitora.net

2023.10.12

より

$$q(u)=\int_{-\infty}^{\infty}\mathcal{N}(u-\beta x_2|0,1)\mathcal{N}(x_2|0,1)dx_2$$

となる。ここに、 \(u-\beta x_2\) と \(x_2\) についての標準正規分布

$$\mathcal{N}(u-\beta x_2|0,1)=\frac{1}{\sqrt{2\pi}}\exp\{-\frac{1}{2}(u-\beta x_2)^2\}$$

$$\mathcal{N}(x_2|0,1)=\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}x_2^2)$$

を代入して

$$q(u)=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp\{-\frac{1}{2}(u-\beta x_2)^2\}\cdot\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}x_2^2)dx_2$$

$$=\frac{1}{2\pi}\int_{-\infty}^{\infty}\exp\{-\frac{1}{2}(u-\beta x_2)^2-\frac{1}{2}x_2^2\}dx_2$$

$$=\frac{1}{2\pi}\exp(\frac{1}{2})\int_{-\infty}^{\infty}\exp\{-(1+\beta^2)x_2^2+2\beta ux_2-u^2\}dx_2$$

が得られる。最後にガウス積分

\(a>0\) のとき

$$\int_{-\infty}^{\infty}\exp(-ax^2+bx+c)dx = \sqrt{\frac{\pi}{a}}\exp(\frac{b^2}{4a}+c)$$

より

$$q(u) = \frac{1}{2\pi}\exp(\frac{1}{2})\cdot\sqrt{\frac{2\pi}{1+\beta^2}}\exp(\frac{4\beta^2u^2}{4(1+\beta^2)}-u^2)$$

$$= \frac{1}{\sqrt{2\pi(1+\beta^2)}}\exp(-\frac{1}{2(1+\beta^2)}u^2)$$

$$= \mathcal{N}(0,(1+\beta^2))$$

が導かれる。ここで、 \((2)\) 式より

$$v=a\sigma\,u+(a+b)\mu$$

であることから、 \((1)\) 式より

$$p(v)=\frac{1}{a\sigma}q(\frac{v-(a+b)\mu}{a\sigma})$$

となる。 \(\beta=\frac{b}{a}\) を代入して計算すると

$$p(v) = \frac{1}{a\sigma}\frac{1}{\sqrt{2\pi\{1+(\frac{b}{a})^2}\}}\exp(-\frac{1}{2\{1+(\frac{b}{a})^2\}}(\frac{v-(a+b)\mu}{(a\sigma)})^2)$$

$$= \frac{1}{\sqrt{2\pi\sigma^2(a^2+b^2)}}\exp(-\frac{a}{2(a^2+b^2)}(\frac{v-(a+b)\mu}{(a\sigma)})^2)$$

$$= \frac{1}{\sqrt{2\pi\sigma^2(a^2+b^2)}}\exp(-\frac{1}{2\sigma^2(a^2+b^2)}\{v-(a+b)\mu)^2\}$$

より

$$p(v) = \mathcal{N}((a+b)\mu,\sigma^2(a^2+b^2))$$が導かれる。