概要
複素確率変数はその名の通り、複素数の形態をとる確率変数のことである。
複素数が \(z=a+ib\) の形で表されることを考慮すれば、複素確率変数は実数の確率変数の組 \((a, b)\) として考えることができ、多次元確率変数の知見をそのまま適用できることが多い。
本記事では、複素確率変数と複素確率分布の例、期待値・分散・共分散の定義と性質等について述べる。
内容の多くは英語版Wikipedia
の翻訳であるが、適宜公式に対して導出を付した。
適用
複素確率変数・複素確率分布は、以下のような分野でよく用いられる。
- ディジタル信号処理
- 直角位相振幅変調
- 情報理論
表記
以下、一般の複素(確率変)数を \(Z\) と書く。
また、 \(Z\) の実部と虚部をそれぞれ \(\mathfrak{R}(Z),\mathfrak{I}(Z)\) で表す。
すなわち
$$Z=\mathfrak{R}(Z)+i\mathfrak{I}(Z)$$
である。
また、 \(\overline{Z}\) で \(Z\) の複素共役を表す。すなわち
$$\overline{Z}=\mathfrak{R}(Z)-i\mathfrak{I}(Z).$$
\(|Z|\) は \(Z\) の絶対値を意味する。定義より
$$|Z|=\sqrt{\{\mathfrak{R}(Z)\}^2+\{\mathfrak{I}(Z)\}^2}.$$
例
離散変数
値が \(1+i,1-i,2\) のいずれかをとる確率変数について考える。この変数がそれぞれの値をとる確率は以下の通りである。
Probability \(P(z)\) | Value z |
---|---|
\(\frac{1}{4}\) | \(1+i\) |
\(\frac{1}{4}\) | \(1-i\) |
\(\frac{1}{2}\) | \(2\) |
この確率変数の期待値は次のように計算される。
$$\mathbb{E}[Z]=\frac{1}{4}(1+i)+\frac{1}{4}(1-i)+\frac{1}{2}2=\frac{3}{2}$$
連続変数
一様分布
複素確率変数の一様分布の範囲は、 \(\{z\in\mathbb{C}||z|\leq r\}\) のように表現される。
この確率密度関数は、下図のように半径 \(r\) の円内で一定の値をとる。
import numpy as np
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
fig = plt.figure(figsize=(6, 6))
ax = fig.add_subplot(111, projection="3d")
ax.set_xlabel("real", size=10)
ax.set_ylabel("imag", size=10)
ax.set_zlabel("pdf", size=10)
ax.set_xticks([-2, -1, 0, 1, 2])
ax.set_yticks([-2, -1, 0, 1, 2])
x = np.linspace(-2, 2, 100)
y = np.linspace(-2, 2, 100)
X, Y = np.meshgrid(x, y)
Z = np.zeros_like(X)
Z[(X**2 + Y**2) <= 1] = 1 / np.pi
ax.plot_surface(X, Y, Z, cmap="viridis")
plt.show()
参考
正規分布
正規分布は応用分野においてよく用いられる。複素確率変数を実数確率変数の組であると考えた場合、2次元正規分布と同様に捉えることができる。
from scipy.stats import multivariate_normal
fig = plt.figure(figsize=(6, 6))
ax = fig.add_subplot(111, projection="3d")
ax.set_xlabel("real", size=10)
ax.set_ylabel("imag", size=10)
ax.set_zlabel("pdf", size=10)
ax.set_xticks([-4, -2, 0, 2, 4])
ax.set_yticks([-4, -2, 0, 2, 4])
x = np.linspace(-4, 4, 100)
y = np.linspace(-4, 4, 100)
X, Y = np.meshgrid(x, y)
Z = np.zeros_like(X)
for py in range(X.shape[0]):
for px in range(X.shape[1]):
Z[py, px] = multivariate_normal.pdf([x[px], y[py]], mean=[0, 0], cov=[[1, 0], [0, 1]])
ax.plot_surface(X, Y, Z, cmap="viridis")
plt.show()
累積分布関数
複素確率変数において、 \(P(Z\leq1+3i)\) のような表現をすることはできない。
しかし、 \(P(\mathfrak{R}(Z)\leq 1,\mathfrak{I}(Z)\leq 3)\) という形でなら、意味のある表現をすることができる。
すなわち、複素確率変数の \(Z=z\) における累積分布関数は次のように定義される。
$$F_{Z}(z)=F_{\mathfrak{R}(Z),\mathfrak{I}(Z)}(\mathfrak{R}(z),\mathfrak{I}(z))=P(\mathfrak{R}(Z)\leq\mathfrak{R}(z),\mathfrak{I}(Z)\leq\mathfrak{I}(z))$$
確率密度関数
\(Z=z\) における確率密度関数は、2次元平面上の点 \((\mathfrak{R}(z),\mathfrak{I}(z))\) における累積分布関数の勾配として定義される。すなわち
$$f_{Z}(z)=f_{\mathfrak{R}(Z),\mathfrak{I}(Z)}(\mathfrak{R}(z),\mathfrak{I}(z))=\frac{\partial^2}{\partial x\partial y}P(\mathfrak{R}(Z)\leq x,\mathfrak{I}(Z)\leq y)$$
ただし、この勾配は \(x=\mathfrak{R}(z),y=\mathfrak{I}(z)\) となる点で評価する。
なお、確率密度関数が存在しない場合もある。
期待値
定義
複素確率変数の期待値は次のように定義される。
$$\mathbb{E}[Z]=\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]$$
ゆえに、 \(\mathbb{E}[\mathfrak{R}(Z)]\) または \(\mathbb{E}[\mathfrak{I}(Z)]\) が存在しない場合、 \(Z\) の期待値も存在しない。
2つの複素確率変数 \(Z, W\) について
$$\mathbb{E}[Z\overline{W}]=0$$
が成り立っているとき、 \(Z, W\) は直行していると言う。
公式
期待値をとる操作と複素共役をとる操作は交換可能である。
$$\overline{\mathbb{E}[Z]}=\mathbb{E}[\overline{Z}] \tag{1}$$
期待値の演算子 \(\mathbb{E}[\cdot]\) は線形である。
$$\mathbb{E}[aZ+bW]=a\mathbb{E}[Z]+b\mathbb{E}[W]\tag{2}$$
ただし、 \(a, b\) は任意の複素数。
証明
公式 \((1)\)
$$\overline{\mathbb{E}[Z]}=\overline{\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]}=\mathbb{E}[\mathfrak{R}(Z)]-i\mathbb{E}[\mathfrak{I}(Z)]=\mathbb{E}[\overline{Z}]$$
公式 \((2)\)
$$aZ=\{\mathfrak{R}(a)+i\mathfrak{I}(a)\}\{\mathfrak{R}(Z)+i\mathfrak{I}(Z)\}$$
$$=\{\mathfrak{R}(a)\mathfrak{R}(Z)-\mathfrak{R}(a)\mathfrak{I}(Z)\}+i\{\mathfrak{R}(a)\mathfrak{I}(Z)+\mathfrak{I}(a)\mathfrak{R}(Z)\}$$
より
$$\mathbb{E}[aZ]=\mathbb{E}[\mathfrak{R}(a)\mathfrak{R}(Z)-\mathfrak{I}(a)\mathfrak{I}(Z)]+i\mathbb{E}[\mathfrak{R}(a)\mathfrak{I}(Z)+\mathfrak{I}(a)\mathfrak{R}(Z)]$$
$$=\mathfrak{R}(a)\mathbb{E}[\mathfrak{R}(Z)]-\mathfrak{I}(a)\mathbb{E}[\mathfrak{I}(Z)]+i\mathfrak{R}(a)\mathbb{E}[\mathfrak{I}(Z)]+\mathfrak{I}(a)\mathbb{E}[\mathfrak{R}(Z)]$$
$$=\mathfrak{R}(a)\{\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]\}+i\mathfrak{I}(a)\{\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]\}$$
$$=\{\mathfrak{R}(a)+i\mathfrak{I}(a)\}\{\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]\}=a\mathbb{E}[Z]\tag{2.1}$$
また
$$\mathbb{E}[aZ+bW]=\mathbb{E}[\mathfrak{R}(aZ+bW)]+i\mathbb{E}[\mathfrak{I}(aZ+bW)]$$
$$=\mathbb{E}[\mathfrak{R}(aZ)+\mathfrak{R}(bW)]+i\mathbb{E}[\mathfrak{I}(aZ)+\mathfrak{I}(bW)]$$
$$=\mathbb{E}[\mathfrak{R}(aZ)]+\mathbb{E}[\mathfrak{R}(bW)]+i\mathbb{E}[\mathfrak{I}(aZ)]+i\mathbb{E}[\mathfrak{I}(bW)]$$
$$=\mathbb{E}[\mathfrak{R}(aZ)]+i\mathbb{E}[\mathfrak{I}(aZ)]+\mathbb{E}[\mathfrak{R}(bW)]+i\mathbb{E}[\mathfrak{I}(bW)]$$
$$=\mathbb{E}[aZ]+\mathbb{E}[bW]\tag{2.2}$$
であるので、式 \((2.1), (2.2)\) より
$$\mathbb{E}[aZ+bW]=a\mathbb{E}[Z]+b\mathbb{E}[W]$$
分散と擬分散
定義
複素確率変数の分散は、次のように定義される。
$$\mathrm{Var}[Z]=\mathbb{E}[|Z-\mathbb{E}[Z]|^2]$$
また、擬分散 (pseudo-variance) を次の式で定義する。
$$J_{ZZ}=\mathbb{E}[(Z-\mathbb{E}[Z])^2]$$
公式
分散と擬分散はそれぞれ、以下のように変形できる。
$$\mathrm{Var}[Z]=\mathbb{E}[|Z|^2]-|\mathbb{E}[Z]|^2\tag{3}$$
$$J_{ZZ}=\mathbb{E}[Z^2]-(\mathbb{E}[Z])^2\tag{4}$$
複素確率変数の分散は常に非負実数であり、実部と虚部それぞれの分散の和に等しい。
$$\mathrm{Var}[Z]=\mathrm{Var}[\mathfrak{R}(Z)]+\mathrm{Var}[\mathfrak{I}(Z)]\tag{5}$$
証明
公式 \((3)\)
証明に際し、次の関係式が成り立つことに注意する。
$$\mathbb{E}[\mathbb{E}[\cdot]]=\mathbb{E}[\cdot]\quad(\because\mathbb{E}[\cdot]\text{は定数})$$
$$\mathfrak{R}(\mathbb{E}[Z])=\mathfrak{R}(\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)])=\mathbb{E}[\mathfrak{R}(Z)]$$
これらを用いて
$$\mathrm{Var}[Z]=\mathbb{E}[\{\mathfrak{R}(Z-\mathbb{E}[Z])\}^2+\{\mathfrak{I}(Z-\mathbb{E}[Z])\}^2]$$
$$=\mathbb{E}[\{\mathfrak{R}(Z)-\mathfrak{R}(\mathbb{E}[Z])\}^2+\{\mathfrak{I}(Z)-\mathfrak{I}(\mathbb{E}[Z])\}^2]$$
$$=\mathbb{E}[\{\mathfrak{R}(Z)\}^2+\{\mathfrak{R}(\mathbb{E}[Z])\}^2-2\mathfrak{R}(Z)\mathfrak{R}(\mathbb{E}[Z])+\{\mathfrak{I}(Z)\}^2+\{\mathfrak{I}(\mathbb{E}[Z])\}^2-2\mathfrak{I}(Z)\mathfrak{I}(\mathbb{E}[Z])]$$
$$=\mathbb{E}[\{\mathfrak{R}(Z)\}^2+\{\mathfrak{I}(Z)\}^2]+\mathbb{E}[\{\mathfrak{R}(\mathbb{E}[Z])\}^2+\{\mathfrak{I}(\mathbb{E}[Z])\}^2]-2\{\mathfrak{R}(\mathbb{E}[Z])\mathbb{E}[\mathfrak{R}(Z)]+\mathfrak{I}(\mathbb{E}[Z])\mathbb{E}[\mathfrak{I}(Z)]\}$$
$$=\mathbb{E}[|Z|^2]+\mathbb{E}[|\mathbb{E}[Z]|^2]-2\{\mathfrak{R}(\mathbb{E}[Z])\mathbb{E}[\mathfrak{R}(Z)]+\mathfrak{I}(\mathbb{E}[Z])\mathbb{E}[\mathfrak{I}(Z)]\}$$
$$=\mathbb{E}[|Z|^2]+|\mathbb{E}[Z]|^2-2\langle\{\mathfrak{R}(\mathbb{E}[Z])\}^2+\{\mathfrak{I}(\mathbb{E}[Z])\}^2\rangle$$
$$=\mathbb{E}[|Z|^2]+|\mathbb{E}[Z]|^2-2|\mathbb{E}[Z]|^2$$
$$=\mathbb{E}[|Z|^2]-|\mathbb{E}[Z]|^2$$
公式 \((4)\)
$$J_{ZZ}=\mathbb{E}[Z^2+(\mathbb{E}[Z])^2-2Z\mathbb{E}[Z]]$$
$$=\mathbb{E}[Z^2]+\mathbb{E}[(\mathbb{E}[Z])^2]-2\mathbb{E}[Z]\mathbb{E}[Z]]$$
$$=\mathbb{E}[Z^2]+(\mathbb{E}[Z])^2-2(\mathbb{E}[Z])^2=\mathbb{E}[Z^2]-(\mathbb{E}[Z])^2$$
公式 \((5)\)
公式 \((3)\) より
$$\mathrm{Var}[Z]=\mathbb{E}[\mathfrak{R}(Z)^2+\mathfrak{I}(Z)^2]-|\mathbb{E}[\mathfrak{R}(Z)]+i\mathbb{E}[\mathfrak{I}(Z)]|^2$$
$$=\mathbb{E}[\mathfrak{R}(Z)^2]+\mathbb{E}[\mathfrak{I}(Z)^2]-\{(\mathbb{E}[\mathfrak{R}(Z)])^2+(\mathbb{E}[\mathfrak{I}(Z)])^2\}$$
$$=\mathbb{E}[\mathfrak{R}(Z)^2]-(\mathbb{E}[\mathfrak{R}(Z)])^2+\mathbb{E}[\mathfrak{I}(Z)^2]-(\mathbb{E}[\mathfrak{I}(Z)])^2$$
$$=\mathrm{Var}[\mathfrak{R}(Z)]+\mathrm{Var}[\mathfrak{I}(Z)]$$
ここで、 \(\mathrm{Var}[\mathfrak{R}(Z)],\mathrm{Var}[\mathfrak{I}(Z)]\) は複素確率変数ではなく、実数の確率変数の分散であることに注意する。
共分散と擬共分散
定義
複素確率変数 \(Z, W\) の共分散は、次のように定義される。
$$\mathrm{K}_{ZW}=\mathrm{Cov}[Z,W]=\mathbb{E}[(Z-\mathbb{E}[Z])\overline{(W-\mathbb{E}[W])}]$$
また、擬共分散 (pseudo-covariance) を次の式で定義する。
$$\mathrm{J}_{ZW}=\mathrm{Cov}[Z,\overline{W}]=\mathbb{E}[(Z-\mathbb{E}[Z])(W-\mathbb{E}[W])]$$
この2つの統計量について
$$\mathrm{K}_{ZW}=\mathrm{J}_{ZW}=0$$
が成り立っているとき、 \(Z, W\) は無相関であると言う。
公式
分散と擬分散はそれぞれ、以下のように変形できる。
$$\mathrm{K}_{ZW}=\mathrm{Cov}[Z,W]=\mathbb{E}[Z\overline{W}]-\mathbb{E}[Z]\mathbb{E}[\overline{W}]\tag{6}$$
$$\mathrm{J}_{ZW}=\mathrm{Cov}[Z,\overline{W}]=\mathbb{E}[ZW]-\mathbb{E}[Z]\mathbb{E}[W]\tag{7}$$
共分散は複素共役について、以下の式の意味で対称である。
$$\mathrm{Cov}[Z,W]=\overline{\mathrm{Cov}[W,Z]}\tag{8}$$
共分散は半双曲型形式である。すなわち、一方の引数に関して線型かつ他方の引数に関して反線型となる。
$$\mathrm{Cov}[\alpha Z,W]=\alpha\mathrm{Cov}[Z,W]\tag{9}$$
$$\mathrm{Cov}[Z,\alpha W]=\overline{\alpha}\mathrm{Cov}[Z,W]\tag{10}$$
複素確率変数の和について、共分散は以下のような分割が可能である。
$$\mathrm{Cov}[Z_1+Z_2,W]=\mathrm{Cov}[Z_1,W]+\mathrm{Cov}[Z_2,W]\tag{11}$$
$$\mathrm{Cov}[Z,W_1+W_2]=\mathrm{Cov}[Z,W_1]+\mathrm{Cov}[Z,W_2]\tag{12}$$
自身同士の共分散は分散に等しい。
$$\mathrm{Cov}[Z,Z]=\mathrm{Var}[Z]\tag{13}$$
また、複素確率変数の線形結合の分散は、共分散を用いて表現できる。
$$\mathrm{Var}\left[\sum_{k=1}^{N}a_k Z_k\right]=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}\mathrm{Cov}[Z_i,Z_j]\tag{14}$$
証明
公式 \((6)\)
公式 \((1)\) を用いる。
$$\mathrm{K}_{ZW}=\mathrm{Cov}[Z,W]=\mathbb{E}[(Z-\mathbb{E}[Z])(\overline{W}-\mathbb{E}[\overline{W}])]$$
$$=\mathbb{E}[Z\overline{W}-\mathbb{E}[Z]\overline{W}-Z\mathbb{E}[\overline{W}]+\mathbb{E}[Z]\mathbb{E}[\overline{W}]]$$
$$=\mathbb{E}[Z\overline{W}]-\mathbb{E}[Z]\mathbb{E}[\overline{W}]-\mathbb{E}[Z]\mathbb{E}[\overline{W}]+\mathbb{E}[Z]\mathbb{E}[\overline{W}]$$
$$=\mathbb{E}[Z\overline{W}]-\mathbb{E}[Z]\mathbb{E}[\overline{W}]$$
公式 \((7)\)
$$\mathrm{J}_{ZW}=\mathbb{E}[ZW-\mathbb{E}[Z]W-Z\mathbb{E}[W]+\mathbb{E}[Z]\mathbb{E}[W]]$$
$$=\mathbb{E}[ZW]-\mathbb{E}[Z]\mathbb{E}[W]-\mathbb{E}[Z]\mathbb{E}[W]+\mathbb{E}[Z]\mathbb{E}[W]$$
$$=\mathbb{E}[ZW]-\mathbb{E}[Z]\mathbb{E}[W]$$
公式 \((8)\)
公式 \((6)\) より
$$\mathrm{Cov}[W,Z]=\mathbb{E}[W\overline{Z}]-\mathbb{E}[W]\mathbb{E}[\overline{Z}]$$
公式 \((1)\) を用いて
$$\overline{\mathrm{Cov}[W,Z]}=\mathbb{E}[\overline{W\overline{Z}}]-\mathbb{E}[\overline{W}]\mathbb{E}[\overline{\overline{Z}}]$$
$$=\mathbb{E}[\overline{W}Z]-\mathbb{E}[\overline{W}]\mathbb{E}[Z]=\mathrm{Cov}[Z,W]$$
公式 \((9), (10)\)
公式 \((6)\) と式 \((2.1)\) を用いて
$$\mathrm{Cov}[\alpha Z,W]=\mathbb{E}[\alpha Z\overline{W}]-\mathbb{E}[\alpha Z]\mathbb{E}[\overline{W}]$$
$$=\alpha\mathbb{E}[Z\overline{W}]-\alpha\mathbb{E}[Z]\mathbb{E}[\overline{W}]=\alpha\mathrm{Cov}[Z,W]$$
また、
$$\mathrm{Cov}[Z,\alpha W]=\mathbb{E}[Z\overline{\alpha W}]-\mathbb{E}[Z]\mathbb{E}[\overline{\alpha W}]$$
$$=\overline{\alpha}\mathbb{E}[Z\overline{W}]-\overline{\alpha}\mathbb{E}[Z]\mathbb{E}[\overline{W}]=\overline{\alpha}\mathrm{Cov}[Z,W]$$
公式 \((11), (12)\)
公式 \((6)\) を用いて
$$\mathrm{Cov}[Z_1+Z_2,W]=\mathbb{E}[(Z_1+Z_2)\overline{W}]-\mathbb{E}[Z_1+Z_2]\mathbb{E}[\overline{W}]$$
$$=\mathbb{E}[Z_1\overline{W}]-\mathbb{E}[Z_1]\mathbb{E}[\overline{W}]+\mathbb{E}[Z_2\overline{W}]-\mathbb{E}[Z_2]\mathbb{E}[\overline{W}]$$
$$=\mathrm{Cov}[Z_1,W]+\mathrm{Cov}[Z_2,W]$$
同様に
$$\mathrm{Cov}[Z,W_1+W_2]=\mathbb{E}[Z\overline{(W_1+W_2)}]-\mathbb{E}[Z]\mathbb{E}[\overline{(W_1+W_2)}]$$
$$=\mathbb{E}[Z\overline{W_1}]-\mathbb{E}[Z]\mathbb{E}[\overline{W_1}]+\mathbb{E}[Z\overline{W_2}]-\mathbb{E}[Z]\mathbb{E}[\overline{W_2}]$$
$$=\mathrm{Cov}[Z,W_1]+\mathrm{Cov}[Z,W_2]$$
公式 \((13)\)
$$\mathrm{Cov}[Z,Z]=\mathbb{E}[(Z-\mathbb{E}[Z])\overline{(Z-\mathbb{E}[Z])}]$$
$$=\mathbb{E}[|Z-\mathbb{E}[Z]|^2]=\mathrm{Var}[Z]$$
公式 \((14)\)
$$\mathrm{Var}\left[\sum_{k=1}^{N}a_k Z_k\right]=\mathbb{E}\left[\left|\sum_{k=1}^{N}a_k Z_k-\mathbb{E}\left[\sum_{k=1}^{N}a_k Z_k\right]\right|^2\right]$$
$$=\mathbb{E}\left[\left|\sum_{k=1}^{N}a_k Z_k-\sum_{k=1}^{N}\mathbb{E}\left[a_k Z_k\right]\right|^2\right]$$
$$=\mathbb{E}\left[\left|\sum_{k=1}^{N}a_k Z_k-\sum_{k=1}^{N}a_k\mathbb{E}\left[Z_k\right]\right|^2\right] (\because (2.1))$$
$$=\mathbb{E}[|a_1 Z_1+\ldots+a_N Z_N-a_1\mathbb{E}[Z_1]-\ldots-a_N\mathbb{E}[Z_N]|^2]$$
$$=\mathbb{E}[(a_1 Z_1+\ldots+a_N Z_N-a_1\mathbb{E}[Z_1]-\ldots-a_N\mathbb{E}[Z_N])\overline{(a_1 Z_1+\ldots+a_N Z_N-a_1\mathbb{E}[Z_1]-\ldots-a_N\mathbb{E}[Z_N])}]$$
$$=\mathbb{E}[(a_1 Z_1+\ldots+a_N Z_N-a_1\mathbb{E}[Z_1]-\ldots-a_N\mathbb{E}[Z_N])(\overline{a_1}\overline{Z_1}+\ldots+\overline{a_N}\overline{Z_N}-\overline{a_1}\mathbb{E}[\overline{Z_1}]-\ldots-\overline{a_N}\mathbb{E}[\overline{Z_N}])] (\because (1))$$
$$=\mathbb{E}\left[\sum_{i=1}^{N}\sum_{j=1}^{N}\{a_i\overline{a_j}(Z_i \overline{Z_j}-Z_i\mathbb{E}[\overline{Z_j}]-\mathbb{E}[Z_i]\overline{Z_j}+\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}])\}\right]$$
$$=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}\mathbb{E}[Z_i \overline{Z_j}-Z_i\mathbb{E}[\overline{Z_j}]-\mathbb{E}[Z_i]\overline{Z_j}+\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}]]$$
$$=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}(\mathbb{E}[Z_i \overline{Z_j}]-\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}]-\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}]+\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}])$$
$$=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}(\mathbb{E}[Z_i \overline{Z_j}]-\mathbb{E}[Z_i]\mathbb{E}[\overline{Z_j}])$$
$$=\sum_{i=1}^{N}\sum_{j=1}^{N}a_i\overline{a_j}\mathrm{Cov}[Z_i,Z_j]\tag{14}$$
Comments