3.3 Review of Probability Theory - Advanced.Global.Illumination.2th

3.3 概率论回顾本节简要回顾概率论中的重要概念，涵盖蒙特卡罗过程、离散随机变量、期望值、方差与标准差、随机变量的函数及二项分布等内容。蒙特卡罗过程与随机变量蒙特卡罗过程：由一系列随机事件构成，每个事件通常关联一个数值结果。例如，抛掷均匀骰子时，结果为1至6中的任意一个值。随机变量：用于描述实验可能结果的变量。若随机变量取有限个可能值，则称为离散随机变量。例如，骰子结果对应的随机变量$x_{text{die}}$可取1至6的值，每个结果的概率$p_i = frac{1}{6}$。离散随机变量的性质概率范围：事件概率满足$0 leq p_i leq 1$。若事件永不发生，概率为0；若事件必然发生，概率为1。互斥事件概率：若两事件互斥（即一个事件发生则另一个事件不可能发生），则两事件中任意一个发生的概率为：$$Pr(text{Event1 或 Event2}) = Pr(text{Event1}) + Pr(text{Event2}).$$一般情况下，两事件概率之和满足：$$Pr(text{Event1 或 Event2}) leq Pr(text{Event1}) + Pr(text{Event2}).$$归一化性质：实验所有可能结果的集合若互斥且完全穷尽，则概率之和为1：$$sum_i p_i = 1.$$期望值定义：离散随机变量的期望值（均值）为各可能结果与其概率乘积之和：$$E(x) = sum_{i=1}^{n} p_i x_i.$$骰子示例：均匀骰子的期望值为：$$E(x_{text{die}}) = sum_{i=1}^{6} frac{1}{6} x_i = frac{1}{6}(1 + 2 + 3 + 4 + 5 + 6) = 3.5.$$方差与标准差方差：衡量结果与期望值偏差程度的指标，定义为差值平方的期望值：$$sigma^2 = Eleft[(x - E[x])^2right] = sum_i (x_i - E[x])^2 p_i.$$通过数学运算可简化为：$$sigma^2 = E[x^2] - (E[x])^2 = sum_i x_i^2 p_i - left(sum_i x_i p_iright)^2.$$骰子示例：均匀骰子的方差为：$$sigma^2_{text{die}} = frac{1}{6}left[(1-3.5)^2 + (2-3.5)^2 + cdots + (6-3.5)^2right] = 2.91.$$标准差：方差的平方根，即$sigma = sqrt{sigma^2}$。随机变量的函数期望值：若$f(x)$为随机变量$x$的函数，则其期望值为：$$E[f(x)] = sum_i p_i f(x_i).$$方差：函数$f(x)$的方差定义为：$$sigma^2 = Eleft[(f(x) - E[f(x)])^2right].$$二项分布示例定义：随机变量有两个互斥结果（1和0），概率分别为$p$和$1-p$。其期望值和方差为：$$E[x] = p, quad sigma^2 = p(1-p).$$N次实验总和：从上述分布中抽取$N$个样本，总和$S = sum_{i=1}^{N} x_i$的概率为：$$Pr(S = n) = C_n^N p^n (1-p)^{N-n},$$其中$C_n^N = frac{N!}{(N-n)!n!}$为二项式系数。期望值与方差：总和$S$的期望值和方差为：$$E[S] = Np, quad sigma^2 = Np(1-p).$$可通过解析计算（如求导表达式$afrac{d}{da}(a+b)^N$）或独立随机变量性质（期望值为各变量期望值之和）推导得出。