概要
この記事では、確率変数の列の収束の概念を、確率収束と分布収束の２様式から説明する。
また、それらがみたす関係について紹介し、そこから派生したスラツキーの定理についても取り扱う。
最後に、それぞれの公式・定理についての証明を付した。
表記
確率変数の列 \(U_1,U_2,\ldots\) を \(\{U_n\}_{n=1,2,\ldots}\) と表記する。
確率収束
確率変数の列 \(\{U_n\}_{n=1,2,\ldots}\) が確率変数 \(U\) に確率収束 (convergence in probability) することを
$$U_n\to_pU$$
で表す。これは任意の \(\varepsilon>0\) に対して
$$\lim_{n\to\infty}P(|U_n-U|\geq\varepsilon)=0$$
を意味する。
分布収束
確率変数の列 \(\{U_n\}_{n=1,2,\ldots}\) が確率変数 \(U\) に分布収束 (convergence in distribution) することを
$$U_n\to_dU$$
で表す。これは
$$\lim_{n\to\infty}P(U_n\leq x)=P(U\leq x)=F_U(x)$$
を意味する。
公式
確率・分布収束間には以下の関係が成り立つ。
$$U_n\to_pU\text{ならば}U_n\to_dU\tag{1}$$
$$a\text{を定数とするとき、}U_n\to_da\text{ならば}U_n\to_pa\tag{2}$$
スラツキーの定理
確率変数の列 \(\{U_n\}_{n=1,2,\ldots},\{V_n\}_{n=1,2,\ldots}\) と確率変数 \(U,\) 定数 \(a\) について \(U_n\to_dU,V_n\to_pa\) とする。このとき
$$U_n+V_n\to_dU+a\tag{3}$$
$$U_nV_n\to_daU\tag{4}$$
が成り立つ。
証明
証明の準備
不等式の導入
確率変数 \(S,T\) と実数 \(w\) と \(\varepsilon>0\) に対して、不等式
$$P(S\leq w-\varepsilon)-P(|S-T|>\varepsilon)$$
$$\leq P(T\leq w)$$
$$\leq P(S\leq w+\varepsilon)+P(|S-T|>\varepsilon)\tag{5}$$
が成り立つ。
不等式の証明
$$P(T\leq w)=P(T\leq w,|S-T|\leq\varepsilon)+P(T\leq w,|S-T|>\varepsilon)$$
$$\leq P(S\leq w+\varepsilon)+P(|S-T|>\varepsilon)\tag{6}$$
より、２・３段目の不等式が成り立つ。ここで、 \(T\leq w,|S-T|\leq\varepsilon\Rightarrow S\leq w+\varepsilon\) が成り立つことを用いた。
具体的には、 \(T\leq w\) のとき \(S-T\geq S-w\) であり、 \(|S-T|\leq\varepsilon\Leftrightarrow-\varepsilon\leq S-T\leq\varepsilon\) と合わせると \(S-w\leq \varepsilon\) が導かれる。
また、式 \((6)\) の \(w\) を \(w-\varepsilon\) に置き換え、 \(S, T\) を交換すると
$$P(S\leq w-\varepsilon)\leq P(T\leq w)+P(|T-S|>\varepsilon)$$
が導かれ、これを変形すると式 \((5)\) の１・２段目の不等式が得られる。
(1) の証明
不等式 \((5)\) で \(S=U,T=U_n,w=x\) とおくと
$$P(U\leq x-\varepsilon)-P(|U-U_n|>\varepsilon)\leq P(U_n\leq x)\leq P(U\leq x+\varepsilon)+P(|U-U_n|>\varepsilon)$$
となる。ここで、 \(U_n\to_pU\) より、 \(n\to\infty\) とすると
$$P(U\leq x-\varepsilon)\leq\lim_{n\to\infty}P(U_n\leq x)\leq P(U\leq x+\varepsilon)$$
が得られる。 \(x\) は連続より、 \(\varepsilon\) を小さくすることによって
$$\lim_{n\to\infty}P(U_n\leq x)=P(U\leq x)$$
すなわち \(U_n\to_dU\) となる。
(2) の証明
$$P(|U_n-a|>\varepsilon)=P(U_n>a+\varepsilon)+P(U_n< a+\varepsilon)$$
$$\leq 1-P(U_n\leq a+\varepsilon)+P(U_n\leq a+\varepsilon)\tag{7}$$
の関係式を考える。 \(U_n\to_da\) は
$$P(U=x)=\begin{cases}1&&(x=a)\\0&&(\text{else})\end{cases}$$
となる確率分布に \(U_n\) が収束することを意味するので、
$$\lim_{n\to\infty}P(U_n\leq a+\varepsilon)=1$$
$$\lim_{n\to\infty}P(U_n\leq a-\varepsilon)=0$$
となる。これを式 \((7)\) に代入すると
$$\lim_{n\to\infty}P(|U_n-a|>\varepsilon)=0$$
が導かれる。
(3) の証明
\(x\) を \(U\) の分布関数の連続点とし、不等式 \((5)\) で \(S=U_n+a,T=U_n+V_n,w=x\) とおくと
$$P(U_n+a\leq x-\varepsilon)-P(|a-V_n|>\varepsilon)\leq P(U_n+V_n\leq x)\leq P(U_n+a\leq x+\varepsilon)+P(|a-V_n|>\varepsilon)$$
$$P(U_n\leq x-a-\varepsilon)-P(|V_n-a|>\varepsilon)\leq P(U_n+V_n\leq x)\leq P(U_n\leq x-a+\varepsilon)+P(|V_n-a|>\varepsilon)$$
となり、
$$U_n\to_dU\Leftrightarrow\begin{cases}\lim_{n\to\infty} P(U_n\leq x-a-\varepsilon)=P(U\leq x-a-\varepsilon)\\ \lim_{n\to\infty} P(U_n\leq x-a+\varepsilon)=P(U\leq x-a+\varepsilon)\end{cases}$$
$$V_n\to_pa\Leftrightarrow P(|V_n-a|>\varepsilon)=0$$
となることを考慮して極限をとると
$$P(U\leq x-a-\varepsilon)\leq\lim_{n\to\infty}P(U_n+V_n\leq x)\leq P(U\leq x-a+\varepsilon)$$
が得られる。ここで \(\varepsilon\to 0\) とすることにより
$$P(U\leq x-a)\leq\lim_{n\to\infty}P(U_n+V_n\leq x)\leq P(U\leq x-a)$$
$$\lim_{n\to\infty}P(U_n+V_n\leq x)=P(U+a\leq x)$$
すなわち \(U_n+V_n\to_dU+a\) が導かれる。
(4) の証明
$$U_nV_n=aU_n+U_n(V_n-a)$$
と変形する。 \(aU_n\to_daU\) であることを考慮すると、 \(U_n(V_n-a)\to_p0\) を証明することができれば、公式 \((3)\) において \(U_n\leftarrow aU_n, V_n\leftarrow U_n(V_n-a)\) とすることにより、
$$U_nV_n=aU_n+U_n(V_n-a)\to_daU$$
が得られる。
$$P(|U_n(V_n-a)|>\varepsilon)=P(|U_n(V_n-a)|>\varepsilon,|V_n-a|\leq\delta)+P(|U_n(V_n-a)|>\varepsilon,|V_n-a|>\delta)$$
$$\leq P(|U_n|>\frac{\varepsilon}{\delta})+P(|V_n-a|>\delta)$$
より、 \(V_n\to_pa\Leftrightarrow\lim_{n\to\infty}P(|V_n-a|>\delta)=0\) を考慮して両辺の極限をとると、
$$\lim_{n\to\infty}P(|U_n(V_n-a)|>\varepsilon)\leq P(|U|>\frac{\varepsilon}{\delta})$$
となり、 \(\delta\to 0\) とすると \(U_n(V_n-a)\to_p 0\) が導かれる。
Comments