数理统计
翻到一年前自己的日志中记载到“要深入理解好大数定律和中心极限定理，这是数理统计的灵魂。”感觉还挺叼的，翻出来复习一下。果然这段被张宇形容为Paper Tiger~
大数定律与中心极限定理
一、依概率收敛
1.1 概念和理解(记住公式)
设$\lbrace{X_n}\rbrace$为一随机变量序列。目标：X为一随机变量（或a为常数）。
若$\forall\epsilon>0$，恒有
$$
\lim_{n \to\infty}P(|X_n-X|<\epsilon)=1
$$
或
$$
\lim_{n \to\infty}P(|X_n-a|<\epsilon)=1
$$
则称$\{X_n \}$依概率收敛于X(或a)。记$X_n \xrightarrow{P} X$ 。
1.2 例题
设$\{ X_n\}$服从$X_n\sim f_n(x)=\dfrac{n}{\pi(1+n^2x^2)},{-\infty}<{X}<{+\infty}$，证明$X_n \xrightarrow{P} 0$
证明：
$$
\begin{align}
P(|X_n-0|<{\epsilon})&=P(-\epsilon<{X_n}<{\epsilon})\\
&=\int_{-\epsilon}^{\epsilon}\frac{n}{\pi(1+n^2x^2)}dx\\
&= \frac{1}{\pi}\arctan{nx}|_{-\epsilon}^{\epsilon}\\
&=\frac{2}{\pi}\arctan{n\epsilon}\\
\lim_{n \to \infty}P\{|X_n-0|<{\epsilon}\}&=\lim_{n \to \infty}\frac{2}{\pi}\arctan{n\epsilon}=1\\
故X_n\xrightarrow{P}{0}
\end{align}
$$
二、大数定律
大数定律是描述相当多次数重复实验的结果的定律。根据这个定律知道，样本数量越多，则其平均就越趋近期望值。
大数定律很重要，因为它“保证”了一些随机事件的均值的长期稳定性。人们发现，在重复试验中，随着试验次数的增加，事件发生的频率趋于一个稳定值；人们同时也发现，在对物理量的测量实践中，测定值的算术平均也具有稳定性。比如，我们向上抛一枚硬币，硬币落下后哪一面朝上本来是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一。偶然必然中包含着必然。
2.1 切比雪夫大数定律
一句话总结 ：样本的均值，收敛到它的期望。
设$\{X_n\}$是相互独立的随机变量序列，若方差$DX_k$存在且一致有上界，则
$$
\frac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{P}\frac{1}{n}\sum_{i=1}^{n}EX_i
$$
条件 ：相互独立；方差有上界。
箭头左边为样本均值，是一个变量。箭头右边是一个数。$变量\xrightarrow{P}数$。
平均值在大样本的情况下，随机变量的均值依概率收敛到一个客观存在的数。这反映了平均值的稳定性。
2.2 伯努利大数定律
一句话总结 ：频率，收敛于概率。
设$u_n$是n重伯努利试验中事件A发生的次数，在每次试验中A发生的概率为p，则 $\dfrac{u_n}{n}\xrightarrow{P}p$。
2.3 辛钦大数定律
设$\{X_n \}$是独立同分布（简单随机样本）的随机变量序列，若$E(X_n)=\mu$存在，则
$$
\frac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{P}\mu
$$
条件 ：同分布；期望存在（有分布不一定有期望）。
其实是切比雪夫大数定律的特殊情况。
三、中心极限定理
不论$X_i$独立（independently）同（identically）分布（distributed）于什么分布，只要把他们加起来，n个独立同分布的随机变量，在大样本的情况下，它的和服从正态分布。
$$
\begin{align}
&不论X_i\overset{\text{iid}}{\sim}F(\mu,\sigma^2)，\\
&\Rightarrow\sum_{i=1}^{n}X_i\overset{n\to\infty}{\sim}N(n\mu,n\sigma^2)\\
&\Rightarrow\frac{\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}\overset{n\to\infty}{\sim}N(0,1)\\
&即
\lim_{n\to\infty}P(\frac{\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}\leq x)=\Phi(x)
\end{align}
$$
