1.事件、概率

1.1 随机试验

随机试验:随机试验是一个过程，它所产生的试验结果是完全确定的。在每一次重复或者试验中，出现哪种结果完全由偶然性来决定。
样本空间:随机试验的样本空间是试验所有结果组成的一个集合。一种特定的试验结果被称为样本点（sample point）, 它是样本空间中的一个元素。

1.2 事件

事件是样本点的一个集合。事件的概率等于事件 中所有样本点的概率之和。

1.3 条件概率

条件概率（Conditional Probability）：
P ( A | B ) = P ( A ∩ B ) P ( B ) P\left(A\middle| B\right)=\frac{P\left(A\cap B\right)}{P\left(B\right)} P(A∣B)=P(B)P(A∩B)​

全概率公式（Law of Total Probability）：
P ( A ) = ∑ i = 1 n P ( A ∣ B i ) P ( B i ) P\left(A\right)=\sum_{i=1}^{n}P(A|B_{i})P(B_{i}) P(A)=∑i=1n​P(A∣Bi​)P(Bi​)

贝叶斯公式（Bayes’ Theorem）：
P ( B | A ) = P ( A | B ) P ( B ) ∑ i = 1 n P ( A | B i ) P ( B i ) P\left(B\middle| A\right)=\frac{P\left(A\middle| B\right)P\left(B\right)}{\sum_{i=1}^{n}{P\left(A\middle| B_i\right)P\left(B_i\right)}} P(B∣A)=∑i=1n​P(A∣Bi​)P(Bi​)P(A∣B)P(B)​

2.离散型随机变量

2.1 常见的数字特征

离散型随机变量的期望（Expected Value）：

E ( X ) = ∑ i = 1 n x i P ( X = x i ) E(X) = \sum_{i=1}^{n} x_i P(X = x_i) E(X)=∑i=1n​xi​P(X=xi​)

方差（Variance）：

V a r ( X ) = E [ ( X − E ( X ) ) 2 ] = ∑ i = 1 n ( x i − E ( X ) ) 2 P ( X = x i ) Var(X) = E[(X - E(X))^2] = \sum_{i=1}^{n} (x_i - E(X))^2 P(X = x_i) Var(X)=E[(X−E(X))2]=∑i=1n​(xi​−E(X))2P(X=xi​)

协方差（Covariance）：

C o v ( X , Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] = ∑ i = 1 n ∑ j = 1 m ( x i − E ( X ) ) ( y j − E ( Y ) ) P ( X = x i , Y = y j ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X, Y) = E[(X - E(X))(Y - E(Y))] = \sum_{i=1}^{n} \sum_{j=1}^{m} (x_i - E(X))(y_j - E(Y)) P(X = x_i, Y = y_j)=E(XY)-E(X)E(Y) Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=∑i=1n​∑j=1m​(xi​−E(X))(yj​−E(Y))P(X=xi​,Y=yj​)=E(XY)−E(X)E(Y)

相关系数（Correlation Coefficient）：

ρ X , Y = C o v ( X , Y ) σ X σ Y \rho_{X,Y} = \frac{Cov(X, Y)}{\sigma_X \sigma_Y} ρX,Y​=σX​σY​Cov(X,Y)​

2.2 常见离散型分布及其特征：

二项分布（Binomial Distribution）：

• 概率质量函数（Probability Mass Function, PMF）： P ( X = k ) = ( n k ) p k ( 1 − p ) n − k P(X = k) = \binom{n}{k} p^k (1-p)^{n-k} P(X=k)=(kn​)pk(1−p)n−k
• 期望： E ( X ) = n p E(X) = np E(X)=np
• 方差: V a r ( X ) = n p ( 1 − p ) Var(X) = np(1-p) Var(X)=np(1−p)

泊松分布（Poisson Distribution）：

• PMF： P ( X = k ) = λ k e − λ k ! P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!} P(X=k)=k!λke−λ​
• 期望： E ( X ) = λ E(X) = \lambda E(X)=λ
• 方差： V a r ( X ) = λ Var(X) = \lambda Var(X)=λ

超几何分布（Hypergeometric Distribution）：

• PMF： P ( X = k ) = ( K k ) ( N − K n − k ) ( N n ) P(X = k) = \frac{\binom{K}{k} \binom{N-K}{n-k}}{\binom{N}{n}} P(X=k)=(nN​)(kK​)(n−kN−K​)​
• 期望： E ( X ) = K n N E(X) = \frac{Kn}{N} E(X)=NKn​
• 方差： V a r ( X ) = K ( N − K ) n ( n − 1 ) N 2 ( N − 1 ) Var(X) = \frac{K(N-K)n(n-1)}{N^2(N-1)} Var(X)=N2(N−1)K(N−K)n(n−1)​

3.连续型随机变量

3.1 常见的数字特征

E ( X ) = ∫ − ∞ ∞ x f ( x ) d x E(X) = \int_{-\infty}^{\infty} x f(x) dx E(X)=∫−∞∞​xf(x)dx
V a r ( X ) = E [ ( X − E ( X ) ) 2 ] = ∫ − ∞ ∞ ( x − E ( X ) ) 2 f ( x ) d x Var(X) = E[(X - E(X))^2] = \int_{-\infty}^{\infty} (x - E(X))^2 f(x) dx Var(X)=E[(X−E(X))2]=∫−∞∞​(x−E(X))2f(x)dx

3.2 常见连续型分布及其特征：

均匀分布（Uniform Distribution）：

• 概率密度函数（PDF）： f ( x ) = { 1 b − a for  a ≤ x ≤ b , 0 otherwise. f(x) = \begin{cases} \frac{1}{b-a} & \text{for } a \le x \le b, \\ 0 & \text{otherwise.} \end{cases} f(x)={b−a1​0​for a≤x≤b,otherwise.​
• 累积分布函数（CDF）： F ( x ) = { 0 for  x < a , x − a b − a for  a ≤ x < b , 1 for  x ≥ b . F(x) = \begin{cases} 0 & \text{for } x < a, \\ \frac{x-a}{b-a} & \text{for } a \le x < b, \\ 1 & \text{for } x \ge b. \end{cases} F(x)=⎩⎨⎧​0b−ax−a​1​for x
• 期望： E ( X ) = a + b 2 E(X) = \frac{a+b}{2} E(X)=2a+b​
• 方差： V a r ( X ) = ( b − a ) 2 12 Var(X) = \frac{(b-a)^2}{12} Var(X)=12(b−a)2​

指数分布（Exponential Distribution）：

• PDF： f ( x ) = λ e − λ x f(x) = \lambda e^{-\lambda x} f(x)=λe−λx (x>0)
• CDF： F ( x ) = 1 − e − λ x F(x) = 1 - e^{-\lambda x} F(x)=1−e−λx (x>0)
• 期望： E ( X ) = 1 λ E(X) = \frac{1}{\lambda} E(X)=λ1​
• 方差： V a r ( X ) = 1 λ 2 Var(X) = \frac{1}{\lambda^2} Var(X)=λ21​

正态分布（Normal Distribution）：

• PDF： f ( x ) = 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2πσ2​1​e−2σ2(x−μ)2​
• 期望： E ( X ) = μ E(X) = \mu E(X)=μ
• 方差： V a r ( X ) = σ 2 Var(X) = \sigma^2 Var(X)=σ2

3.3 二项分布的连续化

二项分布可以通过极限过程转换为正态分布。正态分布PDF如下：
f ( x ∣ μ , σ ) = 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x∣μ,σ)=2πσ2​1​e−2σ2(x−μ)2​

3.4 泊松过程与指数分布

泊松分布用于描述在固定时间或空间内随机事件发生的次数，而指数分布是泊松过程中两次事件发生之间的时间间隔的分布。如果一个事件是一个泊松过程，其中事件以平均速率 𝜆发生，那么两次连续事件发生的时间间隔将遵循指数分布。