1次元正規分布の1次結合についての公式 | USHITORA Lab.
スポンサーリンク

1次元正規分布の1次結合についての公式

数学

定理

\(x\) と \(x’\) が独立に正規分布 \(\mathcal{N}(\mu,\sigma)\) に従うとき、定数 \(a,b\) を用いて作られる確率変数 \(ax+bx’\) は、平均 \((a+b)\mu\) 、分散 \(\sigma^2(a^2+b^2)\) の正規分布に従う。

証明

$$v=ax+bx’$$

とおき、この \(v\) の確率分布 \(p(v)\) を考える。上式を変形すると

$$v=a\sigma(\frac{x-\mu}{\sigma})+b\sigma(\frac{x’-\mu}{\sigma})+(a+b)\mu$$

となるが、ここで

$$x_1=\frac{x-\mu}{\sigma}$$

$$x_2=\frac{x’-\mu}{\sigma}$$

とおくと、逆関数が一意に定義できる場合の確率密度関数の変換公式

確率密度関数 \(p(x)\) に従う確率変数 \(x\) が \(y=tx+b\) として変換されるとき、 \(y\) の確率密度関数 \(q(y)\) は

$$q(y) = \frac{1}{|t|}p(\frac{y-b}{t}) \tag{1}$$

と表される。

確率変数の変換に伴う確率密度関数の変換公式
確率密度関数は積分の形で与えられるため、置換積分の考え方を応用することで、確率変数を変更したときの新しい確率密度関数を求めることができる。この記事では、そのような確率密度関数の変換公式について考える。逆変換が一意...

(上のページ中で導出されている変換公式は、この後の証明でも度々利用する)

より、 \(x_1,x_2\) のそれぞれが独立に標準正規分布 \(\mathcal{N}(0,1)\) に従うことがわかる。

(なぜならば、

$$x=\sigma x_1+\mu$$

より

$$Q(x) = \frac{1}{\sigma}P(\frac{x-\mu}{\sigma}) = \frac{1}{\sigma}P(x_1)$$

$$P(x_1) = \sigma Q(x)$$

であり、ここで

$$Q(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}$$

を代入すると

$$P(x_1) = \sigma\cdot\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2\}$$

$$P(x_1) = \frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}{x_1}^2) = \mathcal{N}(0,1)$$

が導かれ、 \(x_2\) についても同様である。)

次に、 \(v\) についての一次式で表される

$$u = \frac{1}{a\sigma}v-\frac{\mu}{a\sigma}(a+b) \tag{2}$$

の確率分布について考える。このとき

$$u = x_1+\beta x_2$$

(ただし、 \(\beta=\frac{b}{a}\))と表せることに注目すると、現在考えているのは、標準正規分布 \(\mathcal{N}(0,1)\) に独立に従う確率変数 \(x_1,x_2\) から作られる確率変数 \(u\) の分布関数 \(q(u)\) を求めるという問題であることがわかる。ここで、逆変換が一意に存在しない場合の確率密度関数の変換公式

\(M\) 次元の確率変数 \({\bf x}=(x_1,x_2,\cdots,x_M)\) が、 \(z=f({\bf x})=f(x_1,x_2,\cdots,x_M)\) によって \(1\) 次元の確率変数 \(z\) に変換されるとき、 \(z\) の確率密度関数 \(q(z)\) は、 \({\bf x}\) の確率密度関数 \(p(x_1,x_2,\cdots,x_M)\) を用いて

$$q(z)=\int_{R}\delta(z-f(x_1,x_2,\cdots,x_M))p(x_1,x_2,\cdots,x_M)d{\bf x}$$

と表される。

より

$$q(u)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\delta(u-x_1-\beta x_2)\mathcal{N}(x_1|0,1)\mathcal{N}(x_2|0,1)dx_1dx_2$$

が成り立ち、先に \(x_1\) についての積分を実行すると、ディラックのデルタ関数の性質

$$\int_{-\infty}^{\infty}f(x)\delta(x-a)dx=f(a)$$

$$\delta(-x)=\delta(x)$$

クロネッカーのデルタとディラックのデルタ関数
クロネッカーのデルタは、条件分岐を数式上で表現できる非常に便利な関数である。例えば、A = c = sum( if a == 1 else 0 for a in A])print(c) # 7 = 0 + 2 +...

より

$$q(u)=\int_{-\infty}^{\infty}\mathcal{N}(u-\beta x_2|0,1)\mathcal{N}(x_2|0,1)dx_2$$

となる。ここに、 \(u-\beta x_2\) と \(x_2\) についての標準正規分布

$$\mathcal{N}(u-\beta x_2|0,1)=\frac{1}{\sqrt{2\pi}}\exp\{-\frac{1}{2}(u-\beta x_2)^2\}$$

$$\mathcal{N}(x_2|0,1)=\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}x_2^2)$$

を代入して

$$q(u)=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp\{-\frac{1}{2}(u-\beta x_2)^2\}\cdot\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}x_2^2)dx_2$$

$$=\frac{1}{2\pi}\int_{-\infty}^{\infty}\exp\{-\frac{1}{2}(u-\beta x_2)^2-\frac{1}{2}x_2^2\}dx_2$$

$$=\frac{1}{2\pi}\exp(\frac{1}{2})\int_{-\infty}^{\infty}\exp\{-(1+\beta^2)x_2^2+2\beta ux_2-u^2\}dx_2$$

が得られる。最後にガウス積分

\(a>0\) のとき

$$\int_{-\infty}^{\infty}\exp(-ax^2+bx+c)dx = \sqrt{\frac{\pi}{a}}\exp(\frac{b^2}{4a}+c)$$

より

$$q(u) = \frac{1}{2\pi}\exp(\frac{1}{2})\cdot\sqrt{\frac{2\pi}{1+\beta^2}}\exp(\frac{4\beta^2u^2}{4(1+\beta^2)}-u^2)$$

$$= \frac{1}{\sqrt{2\pi(1+\beta^2)}}\exp(-\frac{1}{2(1+\beta^2)}u^2)$$

$$= \mathcal{N}(0,(1+\beta^2))$$

が導かれる。ここで、 \((2)\) 式より

$$v=a\sigma\,u+(a+b)\mu$$

であることから、 \((1)\) 式より

$$p(v)=\frac{1}{a\sigma}q(\frac{v-(a+b)\mu}{a\sigma})$$

となる。 \(\beta=\frac{b}{a}\) を代入して計算すると

$$p(v) = \frac{1}{a\sigma}\frac{1}{\sqrt{2\pi\{1+(\frac{b}{a})^2}\}}\exp(-\frac{1}{2\{1+(\frac{b}{a})^2\}}(\frac{v-(a+b)\mu}{(a\sigma)})^2)$$

$$= \frac{1}{\sqrt{2\pi\sigma^2(a^2+b^2)}}\exp(-\frac{a}{2(a^2+b^2)}(\frac{v-(a+b)\mu}{(a\sigma)})^2)$$

$$= \frac{1}{\sqrt{2\pi\sigma^2(a^2+b^2)}}\exp(-\frac{1}{2\sigma^2(a^2+b^2)}\{v-(a+b)\mu)^2\}$$

より

$$p(v) = \mathcal{N}((a+b)\mu,\sigma^2(a^2+b^2))$$

が導かれる。

コメント