確率要素の列 ${Xn}_n$ が確率変数 $X$ へと弱収束するとは 任意の有界連続関数 $h$ に対して \[ \lim_{n\rightarrow \infty}\mathbb{E}_{X_n}[h(X_n)] = \mathbb{E}_X[h(X)] \] が成り立つことである. ここで, $\mathbb{E}_X[h(X)]$ は $h$ の $X$ に対する期待値を表す.

実数値確率変数 $X_n$ ($n = 1,2,\ldots$) の特性関数を $\varphi_n(t)$ とし, 実数値確率変数 $X$ の特性関数を $\varphi(t)$ とする. このとき, 以下は同値となる. $X_n$ は $X$ に分布収束する. $\varphi_n$ は $\varphi$ に各点収束する. 証明 $X_n$ が $X$ に分布収束するならば$\varphi_n$ は $\varphi$ に各点収束すること $X_n$ が $X$ に分布収束すると仮定する. このとき任意の有界連続関数 $f$ について \[ \mathbb{E}[f(X_n)] \rightarrow \mathbb{E}[f(X)] \] が成り立つから, 特に任意の $t\in \mathbb{R}$ に対して $f_t(x) = e^{\sqrt{-1}tx}$ とおけば \[ \varphi_n(t) \rightarrow \varphi(t) \] が成り立つ. $\varphi_n$ が $\varphi$ に各点収束するならば$X_n$ は $X$ に分布収束すること

$X_1, X_2,\cdots, X_n \sim N(0,1),\quad i.i.d.$ とする. このとき, \[ Y = X_1^2 + X_2^2 +\cdots +X_n^2 \] の分布を自由度 $n$ のカイ二乗分布とよび, $\chi^2(n)$ とかく. ガンマ分布との関係 \[ \chi^2(n)= \textrm{Ga}(n/2,2) \] である. 証明 まずは \[ \mathbb{E}[e^{\sqrt{-1}tX_1^2}] = (1-2\sqrt{-1}t)^{-1/2} \] を示そう. $s<1/2$ に対して, \[ \begin{aligned} G(s) &=\mathbb{E}[e^{sX_1^2}]\\ &= \dfrac{1}{\sqrt{2\pi}} \int e^{sx^2}e^{-x^2/2} \,dx\\ &= (1-2s)^{-1/2} \end{aligned} \] である. これより, $G(z)$ は原点近傍で正則である. 一方で複素関数 \[ (1-2z)^{-1/2} \] は $z\neq 1/2$ において正則であり, $G(z)$ と原点近傍の実軸上で一致している. よって一致の定理により $G(z)= (1-2z)^{-1/2}$ である.

ある確率分布 $X \sim F$ に従う互いに独立な $n$ 個の確率変数 $X_1,X_2,\cdots X_n$ を得るとする. すなわち, 同時分布 $F_N$ について \[ F_N(x_1, x_2, \cdots, x_n) = F(x_1)F(x_2)\cdots F(x_n) \] であるとする. このことを単にこれから \[ X_1,X_2,\cdots , X_n \sim F\quad i.i.d. \] と表す. また, $\mathbb{E}[X]$ を母集団分布の平均, または母平均と呼び, と標本平均 $\overline{X}$ を \[ \overline{X} = \dfrac{1}{n}\sum_{i=1}^n X_n \] により定める($\overline{X}$ は確率変数の和なので確率変数である). さらに, 関数 $T:x=(x_1,x_2,\cdots x_n) \mapsto T(x)\in \mathbb{R}^k$ としたとき, 確率変数 $T(X)$ を $k$-次元統計量と呼ぶ. $k=1$ のとき, たんに統計量と呼ぶ. また, 標本平均は統計量である. 統計量の従う分布を標本分布と呼ぶ.

特性関数の定義 確率変数 $X$ に対して, 特性関数 $\phi_X: \mathbb{R}\rightarrow \mathbb{R}$ を \[ \phi_X(t) = \mathbb{E}[e^{\sqrt{-1}Xt}], \quad t\in \mathbb{R} \] により定める. 特性関数は連続関数 任意の $t, h$ について, \[ \left|\phi_X(t+h) - \phi_X(t)\right| \le \mathbb{E}\left[\left|e^{\sqrt{-1}hX}-1\right|\right] \] であり, 任意の $x$ に対して $|e^{\sqrt{-1}tx} -1| \rightarrow 0$ であることから, 優収束定理により右辺は $0$ に収束する. 特性関数の性質1. 反転公式 確率変数 $X$ の分布 $F_X$ から特性関数 $\phi_X$ を構成したのに対して, 関数 $\phi_X$ から分布 $F_X$ を対応付けることができる. これを反転公式という. 離散分布の場合 実現値が整数のみとなる離散分布の場合, 次のような反転公式が成り立つ. 任意の $k \in \mathbb{Z}$ について, \[ p_X(k) = \dfrac{1}{2\pi}\int_{-\pi}^\pi e^{-\sqrt{-1}kt}\phi_X(t)\,dt. \]

積分 確率変数 $X$ に対して, $F_X$ はその分布とし, 連続分布か離散分布のいずれかであるとする. 関数 $g$ を実数値の関数であるとする. このとき, $F_X$ による積分を \[ \int_A g(x)\,dF_X(x) =\begin{cases} \displaystyle\int_A g(x)f_X(x)\,dx,\quad \text{$F$ が連続分布のとき}, \\ \displaystyle\sum_{x\in A}g(x)p_X(x),\quad \text{$F$ が離散分布のとき} \end{cases} \] により定める(確率変数 $X$ による積分とも呼ぶ). ここで, 関数 $f_X$, $p_X$ はそれぞれ $X$ の確率密度関数, 確率質量関数を表す. ただし, この定義は $g(x)$ が $F_X(x)\,dx$ について絶対可積分であるときに意味を持つ. 期待値 確率変数 $X$ とその分布 $F_X$ について, 積分 \[ \int_\mathbb{R} |x| \,dF_X(x) \] が有限であるとする. このとき, $X$ の期待値を \[ \mathbb{E}_X[X] = \int_\mathbb{R} x\,dF_X(x) \] により定める. さらに確率変数 $Y$ とその分布 $F_Y$ についても積分

連続分布 確率変数 $X$ が連続分布を持つとは, 分布関数 $F_X$ が微分可能であることを言う. さらにこのとき, $X$ の確率密度関数 $f_X$ を \[ f_X(x) = \dfrac{d F_X(x)}{d x}, \quad x\in \mathbb{R} \] により定める. 定義より明らかに \[ F_X(x) = P(X\le x) = \int_{-\infty}^x f(y)\,dy, \quad x \in \mathbb{R} \] が成り立つ. 離散分布 確率変数 $X$ が離散分布を持つとは, 高々加算無限な集合 $M\subset \mathbb{R}$で, \[ P(X\in M) = 1 \] となるときを言う. このとき, \[ p_X(x) = P(X=x) ,\quad x \in M \] を確率質量関数と呼ぶ. 連続分布でも離散分布でもない場合 あるけど扱わない

確率の記法をまとめる 確率とは 事象 $A$ に対して $P:A \mapsto [0,1]$ を対応させる写像みたいなもの. 和の法則とかを満たす 確率変数とは 実数に値をとる関数 $X$ が確率変数であるとは, \[ F_X(x) = P(X\le x), \quad x\in \mathbb{R} \] が [0,1] に値をとる単調増加関数であり, \[ \begin{aligned} \lim_{x\rightarrow -\infty} F_X(x) &= 0,\\ \lim_{x\rightarrow +\infty} F_X(x) &= 1,\\ \end{aligned} \] をみたすものを言う. また, ここで現れた単調増加関数 $F_X: \mathbb{R} \rightarrow [0,1]$ を累積分布関数, または, 分布関数と呼ぶ. 一方で, 確率変数 $X$ と関数 $F$ の間に \[ F(x) = P(X\le x), \quad x\in \mathbb{R} \] が成り立つとき, $X$ は分布 $F$ に従うといい, $X\sim F$ と書く.

1次元、1変量の場合 $n\in \mathbb{N}$: 標本の大きさ $x_1,x_2,\cdots x_n \in \mathbb{R}$: 観測値に対して, \[ \overline{x} = \dfrac{1}{n}\sum_{i=1}^n x_i \] を標本平均と呼び, \[ s^2 = \dfrac{1}{n}\sum_{i=1}^n(x_i-\overline{x})^2 \] を標本分散と呼ぶ. 2変量の場合 $n\in \mathbb{N}$: 標本の大きさ $(x_1, y_1),(x_2,y_2),\cdots (x_n,y_n) \in \mathbb{R}\times \mathbb{R}$: 観測値に対して, \[ \begin{aligned} \overline{x} &= \dfrac{1}{n}\sum_{i=1}^n x_i,\\ \overline{y} &= \dfrac{1}{n}\sum_{i=1}^n y_i \end{aligned} \] を標本平均と呼び, \[ s_{xy} = \dfrac{1}{n}\sum_{i=1}^n (x_i-\overline{x})(y_i - \overline{y}) \] を観測値 $x, y$ 間の共分散と呼ぶ. \[ r_{xy} = \dfrac{s_{xy}}{\sqrt{s_{xx}s_{yy}}} \] を標本相関係数と呼ぶ. 多変量の場合 $n\in \mathbb{N}$: 標本の大きさ $p\in \mathbb{N}$: 変数の数