定理
\(x\) と \(x'\) が独立に正規分布 \(\mathcal{N}(\mu,\sigma)\) にしたがうとき、定数 \(a,b\) を用いて作られる確率変数 \(ax+bx'\) は、平均 \((a+b)\mu\) 、分散 \(\sigma^2(a^2+b^2)\) の正規分布に従う。
証明
$$v=ax+bx'$$
とおき、この \(v\) の確率分布 \(p(v)\) を考える。上式を変形すると
$$v=a\sigma(\frac{x-\mu}{\sigma})+b\sigma(\frac{x'-\mu}{\sigma})+(a+b)\mu$$
となるが、ここで
$$x_1=\frac{x-\mu}{\sigma}$$
$$x_2=\frac{x'-\mu}{\sigma}$$
とおくと、逆関数が一意に定義できる場合の確率密度関数の変換公式
確率密度関数 \(p(x)\) に従う確率変数 \(x\) が \(y=tx+b\) として変換されるとき、
\(y\) の確率密度関数 \(q(y)\) は
$$q(y) = \frac{1}{|t|}p(\frac{y-b}{t}) \tag{1}$$
と表される。
（上のページ中で導出されている変換公式は、この後の証明でも度々利用する）
より、 (x_1,x_2\) のそれぞれが独立に標準正規分布 \(\mathcal{N}(0,1)\) に従うことがわかる。
（なぜならば、
$$x=\sigma x_1+\mu$$
より
$$Q(x) = \frac{1}{\sigma}P(\frac{x-\mu}{\sigma}) = \frac{1}{\sigma}P(x_1)$$
$$P(x_1) = \sigma Q(x)$$
であり、ここで
$$Q(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}$$
を代入すると<
$$P(x_1) = \sigma\cdot\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2\}$$
$$P(x_1) = \frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}{x_1}^2) = \mathcal{N}(0,1)$$
が導かれ、 \(x_2\) についても同様である。）
次に、 \(v\) についての一次式で表される
$$u = \frac{1}{a\sigma}v-\frac{\mu}{a\sigma}(a+b) \tag{2}$$
の確率分布について考える。このとき
$$u = x_1+\beta x_2$$
（ただし、 \(\beta=\frac{b}{a}\) ）と表せることに注目すると、現在考えているのは、標準正規分布 \(\mathcal{N}(0,1)\) に独立に従う確率変数 \(x_1,x_2\) から作られる確率変数 \(u\) の分布関数 \(q(u)\) を求めるという問題であることがわかる。ここで、逆変換が一意に存在しない場合の確率密度関数の変換公式
\(M\) 次元の確率変数 \({\bf x}=(x_1,x_2,\cdots,x_M)\) が、 \(z=f({\bf x})=f(x_1,x_2,\cdots,x_M)\) によって \(1\) 次元の確率変数 \(z\) に変換されるとき、 \(z\) の確率密度関数 \(q(z)\) は、 \({\bf x}\) の確率密度関数 \(p(x_1,x_2,\cdots,x_M)\) を用いて
$$q(z)=\int_{R}\delta(z-f(x_1,x_2,\cdots,x_M))p(x_1,x_2,\cdots,x_M)d{\bf x}$$
と表される。
より
$$q(u)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\delta(u-x_1-\beta x_2)\mathcal{N}(x_1|0,1)\mathcal{N}(x_2|0,1)dx_1dx_2$$
が成り立ち、先に \(x_1\) についての積分を実行すると、ディラックのデルタ関数の性質
$$\int_{-\infty}^{\infty}f(x)\delta(x-a)dx=f(a)$$
$$\delta(-x)=\delta(x)$$
より
$$q(u)=\int_{-\infty}^{\infty}\mathcal{N}(u-\beta x_2|0,1)\mathcal{N}(x_2|0,1)dx_2$$
となる。ここに、 \(u-\beta x_2\) と \(x_2\) についての標準正規分布
$$\mathcal{N}(u-\beta x_2|0,1)=\frac{1}{\sqrt{2\pi}}\exp\{-\frac{1}{2}(u-\beta x_2)^2\}$$
$$\mathcal{N}(x_2|0,1)=\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}x_2^2)$$
を代入して
$$q(u)=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp\{-\frac{1}{2}(u-\beta x_2)^2\}\cdot\frac{1}{\sqrt{2\pi}}\exp(-\frac{1}{2}x_2^2)dx_2$$
$$=\frac{1}{2\pi}\int_{-\infty}^{\infty}\exp\{-\frac{1}{2}(u-\beta x_2)^2-\frac{1}{2}x_2^2\}dx_2$$
$$=\frac{1}{2\pi}\exp(\frac{1}{2})\int_{-\infty}^{\infty}\exp\{-(1+\beta^2)x_2^2+2\beta ux_2-u^2\}dx_2$$
が得られる。最後にガウス積分
\(a>0\) のとき
$$\int_{-\infty}^{\infty}\exp(-ax^2+bx+c)dx = \sqrt{\frac{\pi}{a}}\exp(\frac{b^2}{4a}+c)$$
より
$$q(u) = \frac{1}{2\pi}\exp(\frac{1}{2})\cdot\sqrt{\frac{2\pi}{1+\beta^2}}\exp(\frac{4\beta^2u^2}{4(1+\beta^2)}-u^2)$$
$$= \frac{1}{\sqrt{2\pi(1+\beta^2)}}\exp(-\frac{1}{2(1+\beta^2)}u^2)$$
$$= \mathcal{N}(0,(1+\beta^2))$$
が導かれる。ここで、 \((2)\) 式より
$$v=a\sigma\,u+(a+b)\mu$$
であることから、 \((1)\) 式より
$$p(v)=\frac{1}{a\sigma}q(\frac{v-(a+b)\mu}{a\sigma})$$
となる。 \(\beta=\frac{b}{a}\) を代入して計算すると
$$p(v) = \frac{1}{a\sigma}\frac{1}{\sqrt{2\pi\{1+(\frac{b}{a})^2}\}}\exp(-\frac{1}{2\{1+(\frac{b}{a})^2\}}(\frac{v-(a+b)\mu}{(a\sigma)})^2)$$
$$= \frac{1}{\sqrt{2\pi\sigma^2(a^2+b^2)}}\exp(-\frac{a}{2(a^2+b^2)}(\frac{v-(a+b)\mu}{(a\sigma)})^2)$$
$$= \frac{1}{\sqrt{2\pi\sigma^2(a^2+b^2)}}\exp(-\frac{1}{2\sigma^2(a^2+b^2)}\{v-(a+b)\mu)^2\}$$
より
$$p(v) = \mathcal{N}((a+b)\mu,\sigma^2(a^2+b^2))$$が導かれる。
Comments
こういう理論部分のつながりは、なかなか調べても出てこなかった内容なのでスゴク有難いです。
応援しております。
今後も投稿お待ちしております。