複素確率変数の性質

確率・統計
Sponsored

概要

複素確率変数はその名の通り、複素数の形態をとる確率変数のことである。

複素数が \(z=a+ib\) の形で表されることを考慮すれば、複素確率変数は実数の確率変数の組 \((a, b)\) として考えることができ、多次元確率変数の知見をそのまま適用できることが多い。

本記事では、複素確率変数と複素確率分布の例、期待値・分散・共分散の定義と性質等について述べる。

内容の多くは英語版Wikipedia

Complex random variable - Wikipedia

の翻訳であるが、適宜公式に対して導出を付した。

適用

複素確率変数・複素確率分布は、以下のような分野でよく用いられる。

  • ディジタル信号処理
  • 直角位相振幅変調
  • 情報理論

表記

以下、一般の複素(確率変)数を \(Z\) と書く。

また、 \(Z\) の実部虚部をそれぞれ \(\mathfrak{R}(Z),\mathfrak{I}(Z)\) で表す。

すなわち

$$Z=\mathfrak{R}(Z)+i\mathfrak{I}(Z)$$

である。

また、 \(\overline{Z}\) で \(Z\) の複素共役を表す。すなわち

$$\overline{Z}=\mathfrak{R}(Z)-i\mathfrak{I}(Z).$$

\(|Z|\) は \(Z\) の絶対値を意味する。定義より

$$|Z|=\sqrt{\{\mathfrak{R}(Z)\}^2+\{\mathfrak{I}(Z)\}^2}.$$

離散変数

値が \(1+i,1-i,2\) のいずれかをとる確率変数について考える。この変数がそれぞれの値をとる確率は以下の通りである。

Probability \(P(z)\)Value z
\(\frac{1}{4}\)\(1+i\)
\(\frac{1}{4}\)\(1-i\)
\(\frac{1}{2}\)\(2\)

この確率変数の期待値は次のように計算される。

$$\mathbb{E}[Z]=\frac{1}{4}(1+i)+\frac{1}{4}(1-i)+\frac{1}{2}2=\frac{3}{2}$$

連続変数

一様分布

複素確率変数の一様分布の範囲は、 \(\{z\in\mathbb{C}||z|\leq r\}\) のように表現される。

この確率密度関数は、下図のように半径 \(r\) の円内で一定の値をとる。

import numpy as np
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

fig = plt.figure(figsize=(6, 6))
ax = fig.add_subplot(111, projection="3d")
ax.set_xlabel("real", size=10)
ax.set_ylabel("imag", size=10)
ax.set_zlabel("pdf", size=10)
ax.set_xticks([-2, -1, 0, 1, 2])
ax.set_yticks([-2, -1, 0, 1, 2])

x = np.linspace(-2, 2, 100)
y = np.linspace(-2, 2, 100)

X, Y = np.meshgrid(x, y)
Z = np.zeros_like(X)
Z[(X**2 + Y**2) <= 1] = 1 / np.pi

ax.plot_surface(X, Y, Z, cmap="viridis")
plt.show()

参考

Matplotlibによる3Dプロット(簡単に)
概要 以前 等でMatplotlibを用いた3次元プロットについて述べたが、詳しい理屈は置いておいて、とりあえず図が書きたいという読者のために簡略版記事を作成した。 もっと複雑なことがしたい場合は、末尾に参考リンクを載せておいたのでそちらを...

正規分布

正規分布は応用分野においてよく用いられる。複素確率変数を実数確率変数の組であると考えた場合、2次元正規分布と同様に捉えることができる。

from scipy.stats import multivariate_normal

fig = plt.figure(figsize=(6, 6))
ax = fig.add_subplot(111, projection="3d")
ax.set_xlabel("real", size=10)
ax.set_ylabel("imag", size=10)
ax.set_zlabel("pdf", size=10)
ax.set_xticks([-4, -2, 0, 2, 4])
ax.set_yticks([-4, -2, 0, 2, 4])

x = np.linspace(-4, 4, 100)
y = np.linspace(-4, 4, 100)

X, Y = np.meshgrid(x, y)
Z = np.zeros_like(X)
for py in range(X.shape[0]):
    for px in range(X.shape[1]):
        Z[py, px] = multivariate_normal.pdf([x[px], y[py]], mean=[0, 0], cov=[[1, 0], [0, 1]])

ax.plot_surface(X, Y, Z, cmap="viridis")
plt.show()

累積分布関数

複素確率変数において、 \(P(Z\leq1+3i)\) のような表現をすることはできない。

しかし、 \(P(\mathfrak{R}(Z)\leq 1,\mathfrak{I}(Z)\leq 3)\) という形でなら、意味のある表現をすることができる。

すなわち、複素確率変数の \(Z=z\) における累積分布関数は次のように定義される。

$$F_{Z}(z)=F_{\mathfrak{R}(Z),\mathfrak{I}(Z)}(\mathfrak{R}(z),\mathfrak{I}(z))=P(\mathfrak{R}(Z)\leq\mathfrak{R}(z),\mathfrak{I}(Z)\leq\mathfrak{I}(z))$$

確率密度関数

\(Z=z\) における確率密度関数は、2次元平面上の点 \((\mathfrak{R}(z),\mathfrak{I}(z))\) における累積分布関数の勾配として定義される。すなわち

$$f_{Z}(z)=f_{\mathfrak{R}(Z),\mathfrak{I}(Z)}(\mathfrak{R}(z),\mathfrak{I}(z))=\frac{\partial^2}{\partial x\partial y}P(\mathfrak{R}(Z)\leq x,\mathfrak{I}(Z)\leq y)$$

ただし、この勾配は \(x=\mathfrak{R}(z),y=\mathfrak{I}(z)\) となる点で評価する。

なお、確率密度関数が存在しない場合もある。

期待値

定義

複素確率変数の期待値は次のように定義される。

$$\mathbb{E}[Z]=\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]$$

ゆえに、 \(\mathbb{E}[\mathfrak{R}(Z)]\) または \(\mathbb{E}[\mathfrak{I}(Z)]\) が存在しない場合、 \(Z\) の期待値も存在しない。

2つの複素確率変数 \(Z, W\) について

$$\mathbb{E}[Z\overline{W}]=0$$

が成り立っているとき、 \(Z, W\) は直行していると言う。

公式

期待値をとる操作と複素共役をとる操作は交換可能である。

$$\overline{\mathbb{E}[Z]}=\mathbb{E}[\overline{Z}] \tag{1}$$

期待値の演算子 \(\mathbb{E}[\cdot]\) は線形である。

$$\mathbb{E}[aZ+bW]=a\mathbb{E}[Z]+b\mathbb{E}[W]\tag{2}$$

ただし、 \(a, b\) は任意の複素数。

証明

公式 \((1)\)

$$\overline{\mathbb{E}[Z]}=\overline{\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]}=\mathbb{E}[\mathfrak{R}(Z)]-i\mathbb{E}[\mathfrak{I}(Z)]=\mathbb{E}[\overline{Z}]$$

公式 \((2)\)

$$aZ=\{\mathfrak{R}(a)+i\mathfrak{I}(a)\}\{\mathfrak{R}(Z)+i\mathfrak{I}(Z)\}$$

$$=\{\mathfrak{R}(a)\mathfrak{R}(Z)-\mathfrak{R}(a)\mathfrak{I}(Z)\}+i\{\mathfrak{R}(a)\mathfrak{I}(Z)+\mathfrak{I}(a)\mathfrak{R}(Z)\}$$

より

$$\mathbb{E}[aZ]=\mathbb{E}[\mathfrak{R}(a)\mathfrak{R}(Z)-\mathfrak{I}(a)\mathfrak{I}(Z)]+i\mathbb{E}[\mathfrak{R}(a)\mathfrak{I}(Z)+\mathfrak{I}(a)\mathfrak{R}(Z)]$$

$$=\mathfrak{R}(a)\mathbb{E}[\mathfrak{R}(Z)]-\mathfrak{I}(a)\mathbb{E}[\mathfrak{I}(Z)]+i\mathfrak{R}(a)\mathbb{E}[\mathfrak{I}(Z)]+\mathfrak{I}(a)\mathbb{E}[\mathfrak{R}(Z)]$$

$$=\mathfrak{R}(a)\{\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]\}+i\mathfrak{I}(a)\{\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]\}$$

$$=\{\mathfrak{R}(a)+i\mathfrak{I}(a)\}\{\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]\}=a\mathbb{E}[Z]\tag{2.1}$$

また

$$\mathbb{E}[aZ+bW]=\mathbb{E}[\mathfrak{R}(aZ+bW)]+i\mathbb{E}[\mathfrak{I}(aZ+bW)]$$

$$=\mathbb{E}[\mathfrak{R}(aZ)+\mathfrak{R}(bW)]+i\mathbb{E}[\mathfrak{I}(aZ)+\mathfrak{I}(bW)]$$

$$=\mathbb{E}[\mathfrak{R}(aZ)]+\mathbb{E}[\mathfrak{R}(bW)]+i\mathbb{E}[\mathfrak{I}(aZ)]+i\mathbb{E}[\mathfrak{I}(bW)]$$

$$=\mathbb{E}[\mathfrak{R}(aZ)]+i\mathbb{E}[\mathfrak{I}(aZ)]+\mathbb{E}[\mathfrak{R}(bW)]+i\mathbb{E}[\mathfrak{I}(bW)]$$

$$=\mathbb{E}[aZ]+\mathbb{E}[bW]\tag{2.2}$$

であるので、式 \((2.1), (2.2)\) より

$$\mathbb{E}[aZ+bW]=a\mathbb{E}[Z]+b\mathbb{E}[W]$$

分散と擬分散

定義

複素確率変数の分散は、次のように定義される。

$$\mathrm{Var}[Z]=\mathbb{E}[|Z-\mathbb{E}[Z]|^2]$$

また、擬分散 (pseudo-variance) を次の式で定義する。

$$J_{ZZ}=\mathbb{E}[(Z-\mathbb{E}[Z])^2]$$

公式

分散と擬分散はそれぞれ、以下のように変形できる。

$$\mathrm{Var}[Z]=\mathbb{E}[|Z|^2]-|\mathbb{E}[Z]|^2\tag{3}$$

$$J_{ZZ}=\mathbb{E}[Z^2]-(\mathbb{E}[Z])^2\tag{4}$$

複素確率変数の分散は常に非負実数であり、実部と虚部それぞれの分散の和に等しい。

$$\mathrm{Var}[Z]=\mathrm{Var}[\mathfrak{R}(Z)]+\mathrm{Var}[\mathfrak{I}(Z)]\tag{5}$$

証明

公式 \((3)\)

証明に際し、次の関係式が成り立つことに注意する。

$$\mathbb{E}[\mathbb{E}[\cdot]]=\mathbb{E}[\cdot]\quad(\because\mathbb{E}[\cdot]\text{は定数})$$

$$\mathfrak{R}(\mathbb{E}[Z])=\mathfrak{R}(\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)])=\mathbb{E}[\mathfrak{R}(Z)]$$

これらを用いて

$$\mathrm{Var}[Z]=\mathbb{E}[\{\mathfrak{R}(Z-\mathbb{E}[Z])\}^2+\{\mathfrak{I}(Z-\mathbb{E}[Z])\}^2]$$

$$=\mathbb{E}[\{\mathfrak{R}(Z)-\mathfrak{R}(\mathbb{E}[Z])\}^2+\{\mathfrak{I}(Z)-\mathfrak{I}(\mathbb{E}[Z])\}^2]$$

$$=\mathbb{E}[\{\mathfrak{R}(Z)\}^2+\{\mathfrak{R}(\mathbb{E}[Z])\}^2-2\mathfrak{R}(Z)\mathfrak{R}(\mathbb{E}[Z])+\{\mathfrak{I}(Z)\}^2+\{\mathfrak{I}(\mathbb{E}[Z])\}^2-2\mathfrak{I}(Z)\mathfrak{I}(\mathbb{E}[Z])]$$

$$=\mathbb{E}[\{\mathfrak{R}(Z)\}^2+\{\mathfrak{I}(Z)\}^2]+\mathbb{E}[\{\mathfrak{R}(\mathbb{E}[Z])\}^2+\{\mathfrak{I}(\mathbb{E}[Z])\}^2]-2\{\mathfrak{R}(\mathbb{E}[Z])\mathbb{E}[\mathfrak{R}(Z)]+\mathfrak{I}(\mathbb{E}[Z])\mathbb{E}[\mathfrak{I}(Z)]\}$$

$$=\mathbb{E}[|Z|^2]+\mathbb{E}[|\mathbb{E}[Z]|^2]-2\{\mathfrak{R}(\mathbb{E}[Z])\mathbb{E}[\mathfrak{R}(Z)]+\mathfrak{I}(\mathbb{E}[Z])\mathbb{E}[\mathfrak{I}(Z)]\}$$

$$=\mathbb{E}[|Z|^2]+|\mathbb{E}[Z]|^2-2\langle\{\mathfrak{R}(\mathbb{E}[Z])\}^2+\{\mathfrak{I}(\mathbb{E}[Z])\}^2\rangle$$

$$=\mathbb{E}[|Z|^2]+|\mathbb{E}[Z]|^2-2|\mathbb{E}[Z]|^2$$

$$=\mathbb{E}[|Z|^2]-|\mathbb{E}[Z]|^2$$

公式 \((4)\)

$$J_{ZZ}=\mathbb{E}[Z^2+(\mathbb{E}[Z])^2-2Z\mathbb{E}[Z]]$$

$$=\mathbb{E}[Z^2]+\mathbb{E}[(\mathbb{E}[Z])^2]-2\mathbb{E}[Z]\mathbb{E}[Z]]$$

$$=\mathbb{E}[Z^2]+(\mathbb{E}[Z])^2-2(\mathbb{E}[Z])^2=\mathbb{E}[Z^2]-(\mathbb{E}[Z])^2$$

公式 \((5)\)

公式 \((3)\) より

$$\mathrm{Var}[Z]=\mathbb{E}[\mathfrak{R}(Z)^2+\mathfrak{I}(Z)^2]-|\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]|^2$$

$$=\mathbb{E}[\mathfrak{R}(Z)^2]+\mathbb{E}[\mathfrak{I}(Z)^2]-\{(\mathbb{E}[\mathfrak{R}(Z)])^2+(\mathbb{E}[\mathfrak{I}(Z)])^2\}$$

$$=\mathbb{E}[\mathfrak{R}(Z)^2]-(\mathbb{E}[\mathfrak{R}(Z)])^2+\mathbb{E}[\mathfrak{I}(Z)^2]-(\mathbb{E}[\mathfrak{I}(Z)])^2$$

$$=\mathrm{Var}[\mathfrak{R}(Z)]+\mathrm{Var}[\mathfrak{I}(Z)]$$

ここで、 \(\mathrm{Var}[\mathfrak{R}(Z)],\mathrm{Var}[\mathfrak{I}(Z)]\) は複素確率変数ではなく、実数の確率変数の分散であることに注意する。

共分散と擬共分散

定義

複素確率変数 \(Z, W\) の共分散は、次のように定義される。

$$\mathrm{K}_{ZW}=\mathrm{Cov}[Z,W]=\mathbb{E}[(Z-\mathbb{E}[Z])\overline{(W-\mathbb{E}[W])}]$$

また、擬共分散 (pseudo-covariance) を次の式で定義する。

$$\mathrm{J}_{ZW}=\mathrm{Cov}[Z,\overline{W}]=\mathbb{E}[(Z-\mathbb{E}[Z])(W-\mathbb{E}[W])]$$

この2つの統計量について

$$\mathrm{K}_{ZW}=\mathrm{J}_{ZW}=0$$

が成り立っているとき、 \(Z, W\) は無相関であると言う。

公式

分散と擬分散はそれぞれ、以下のように変形できる。

$$\mathrm{K}_{ZW}=\mathrm{Cov}[Z,W]=\mathbb{E}[Z\overline{W}]-\mathbb{E}[Z]\mathbb{E}[\overline{W}]\tag{6}$$

$$\mathrm{J}_{ZW}=\mathrm{Cov}[Z,\overline{W}]=\mathbb{E}[ZW]-\mathbb{E}[Z]\mathbb{E}[W]\tag{7}$$

共分散は複素共役について、以下の式の意味で対称である。

$$\mathrm{Cov}[Z,W]=\overline{\mathrm{Cov}[W,Z]}\tag{8}$$

共分散は半双曲型形式である。すなわち、一方の引数に関して線型かつ他方の引数に関して反線型となる。

$$\mathrm{Cov}[\alpha Z,W]=\alpha\mathrm{Cov}[Z,W]\tag{9}$$

$$\mathrm{Cov}[Z,\alpha W]=\overline{\alpha}\mathrm{Cov}[Z,W]\tag{10}$$

複素確率変数の和について、共分散は以下のような分割が可能である。

$$\mathrm{Cov}[Z_1+Z_2,W]=\mathrm{Cov}[Z_1,W]+\mathrm{Cov}[Z_2,W]\tag{11}$$

$$\mathrm{Cov}[Z,W_1+W_2]=\mathrm{Cov}[Z,W_1]+\mathrm{Cov}[Z,W_2]\tag{12}$$

自身同士の共分散は分散に等しい。

$$\mathrm{Cov}[Z,Z]=\mathrm{Var}[Z]\tag{13}$$

また、複素確率変数の線形結合の分散は、共分散を用いて表現できる。

$$\mathrm{Var}\left[\sum_{k=1}^{N}a_k Z_k\right]=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}\mathrm{Cov}[Z_i,Z_j]\tag{14}$$

証明

公式 \((6)\)

公式 \((1)\) を用いる。

$$\mathrm{K}_{ZW}=\mathrm{Cov}[Z,W]=\mathbb{E}[(Z-\mathbb{E}[Z])(\overline{W}-\mathbb{E}[\overline{W}])]$$

$$=\mathbb{E}[Z\overline{W}-\mathbb{E}[Z]\overline{W}-Z\mathbb{E}[\overline{W}]+\mathbb{E}[Z]\mathbb{E}[\overline{W}]]$$

$$=\mathbb{E}[Z\overline{W}]-\mathbb{E}[Z]\mathbb{E}[\overline{W}]-\mathbb{E}[Z]\mathbb{E}[\overline{W}]+\mathbb{E}[Z]\mathbb{E}[\overline{W}]$$

$$=\mathbb{E}[Z\overline{W}]-\mathbb{E}[Z]\mathbb{E}[\overline{W}]$$

公式 \((7)\)

$$\mathrm{J}_{ZW}=\mathbb{E}[ZW-\mathbb{E}[Z]W-Z\mathbb{E}[W]+\mathbb{E}[Z]\mathbb{E}[W]]$$

$$=\mathbb{E}[ZW]-\mathbb{E}[Z]\mathbb{E}[W]-\mathbb{E}[Z]\mathbb{E}[W]+\mathbb{E}[Z]\mathbb{E}[W]$$

$$=\mathbb{E}[ZW]-\mathbb{E}[Z]\mathbb{E}[W]$$

公式 \((8)\)

公式 \((6)\) より

$$\mathrm{Cov}[W,Z]=\mathbb{E}[W\overline{Z}]-\mathbb{E}[W]\mathbb{E}[\overline{Z}]$$

公式 \((1)\) を用いて

$$\overline{\mathrm{Cov}[W,Z]}=\mathbb{E}[\overline{W\overline{Z}}]-\mathbb{E}[\overline{W}]\mathbb{E}[\overline{\overline{Z}}]$$

$$=\mathbb{E}[\overline{W}Z]-\mathbb{E}[\overline{W}]\mathbb{E}[Z]=\mathrm{Cov}[Z,W]$$

公式 \((9), (10)\)

公式 \((6)\) と式 \((2.1)\) を用いて

$$\mathrm{Cov}[\alpha Z,W]=\mathbb{E}[\alpha Z\overline{W}]-\mathbb{E}[\alpha Z]\mathbb{E}[\overline{W}]$$

$$=\alpha\mathbb{E}[Z\overline{W}]-\alpha\mathbb{E}[Z]\mathbb{E}[\overline{W}]=\alpha\mathrm{Cov}[Z,W]$$

また、

$$\mathrm{Cov}[Z,\alpha W]=\mathbb{E}[Z\overline{\alpha W}]-\mathbb{E}[Z]\mathbb{E}[\overline{\alpha W}]$$

$$=\overline{\alpha}\mathbb{E}[Z\overline{W}]-\overline{\alpha}\mathbb{E}[Z]\mathbb{E}[\overline{W}]=\overline{\alpha}\mathrm{Cov}[Z,W]$$

公式 \((11), (12)\)

公式 \((6)\) を用いて

$$\mathrm{Cov}[Z_1+Z_2,W]=\mathbb{E}[(Z_1+Z_2)\overline{W}]-\mathbb{E}[Z_1+Z_2]\mathbb{E}[\overline{W}]$$

$$=\mathbb{E}[Z_1\overline{W}]-\mathbb{E}[Z_1]\mathbb{E}[\overline{W}]+\mathbb{E}[Z_2\overline{W}]-\mathbb{E}[Z_2]\mathbb{E}[\overline{W}]$$

$$=\mathrm{Cov}[Z_1,W]+\mathrm{Cov}[Z_2,W]$$

同様に

$$\mathrm{Cov}[Z,W_1+W_2]=\mathbb{E}[Z\overline{(W_1+W_2)}]-\mathbb{E}[Z]\mathbb{E}[\overline{(W_1+W_2)}]$$

$$=\mathbb{E}[Z\overline{W_1}]-\mathbb{E}[Z]\mathbb{E}[\overline{W_1}]+\mathbb{E}[Z\overline{W_2}]-\mathbb{E}[Z]\mathbb{E}[\overline{W_2}]$$

$$=\mathrm{Cov}[Z,W_1]+\mathrm{Cov}[Z,W_2]$$

公式 \((13)\)

$$\mathrm{Cov}[Z,Z]=\mathbb{E}[(Z-\mathbb{E}[Z])\overline{(Z-\mathbb{E}[Z])}]$$

$$=\mathbb{E}[|Z-\mathbb{E}[Z]|^2]=\mathrm{Var}[Z]$$

公式 \((14)\)

$$\mathrm{Var}\left[\sum_{k=1}^{N}a_k Z_k\right]=\mathbb{E}\left[\left|\sum_{k=1}^{N}a_k Z_k-\mathbb{E}\left[\sum_{k=1}^{N}a_k Z_k\right]\right|^2\right]$$

$$=\mathbb{E}\left[\left|\sum_{k=1}^{N}a_k Z_k-\sum_{k=1}^{N}\mathbb{E}\left[a_k Z_k\right]\right|^2\right]$$

$$=\mathbb{E}\left[\left|\sum_{k=1}^{N}a_k Z_k-\sum_{k=1}^{N}a_k\mathbb{E}\left[Z_k\right]\right|^2\right] (\because (2.1))$$

$$=\mathbb{E}[|a_1 Z_1+\ldots+a_N Z_N-a_1\mathbb{E}[Z_1]-\ldots-a_N\mathbb{E}[Z_N]|^2]$$

$$=\mathbb{E}[(a_1 Z_1+\ldots+a_N Z_N-a_1\mathbb{E}[Z_1]-\ldots-a_N\mathbb{E}[Z_N])\overline{(a_1 Z_1+\ldots+a_N Z_N-a_1\mathbb{E}[Z_1]-\ldots-a_N\mathbb{E}[Z_N])}]$$

$$=\mathbb{E}[(a_1 Z_1+\ldots+a_N Z_N-a_1\mathbb{E}[Z_1]-\ldots-a_N\mathbb{E}[Z_N])(\overline{a_1}\overline{Z_1}+\ldots+\overline{a_N}\overline{Z_N}-\overline{a_1}\mathbb{E}[\overline{Z_1}]-\ldots-\overline{a_N}\mathbb{E}[\overline{Z_N}])] (\because (1))$$

$$=\mathbb{E}\left[\sum_{i=1}^{N}\sum_{j=1}^{N}\{a_i\overline{a_j}(Z_i \overline{Z_j}-Z_i\mathbb{E}[\overline{Z_j}]-\mathbb{E}[Z_i]\overline{Z_j}+\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}])\}\right]$$

$$=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}\mathbb{E}[Z_i \overline{Z_j}-Z_i\mathbb{E}[\overline{Z_j}]-\mathbb{E}[Z_i]\overline{Z_j}+\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}]]$$

$$=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}(\mathbb{E}[Z_i \overline{Z_j}]-\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}]-\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}]+\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}])$$

$$=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}(\mathbb{E}[Z_i \overline{Z_j}]-\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}])$$

$$=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}\mathrm{Cov}[Z_i,Z_j]\tag{14}$$

Comments