机器学习数学基础一：监督学习核心概念

监督学习的核心是利用标记数据训练模型，使其具备对未知数据的预测能力，其数学基础围绕模型、损失、风险等核心概念展开，具体内容如下：一、基础对象与统一记号数据：样本$(X, Y)$服从未知分布$mathcal{D}$，其中$X$为输入变量，$Y$为输出变量。例如在图像分类任务中，$X$是图像像素数据，$Y$是对应的类别标签。假设空间：用$mathcal{F}$表示，它是学习算法所有可能输出模型$f$的集合。学习算法最终会从该集合中输出一个模型$f in mathcal{F}$，比如在决策树算法中，假设空间就是所有可能的决策树结构的集合。损失函数：记为$ell(hat{y}, y)$，用于衡量模型预测值$hat{y}$与真实值$y$的差距。不同的任务会采用不同的损失函数，如在回归任务中常用平方损失函数$ell(hat{y}, y) = (hat{y} - y)^2$。二、期望风险（Expected Risk）定义：期望风险是模型在测试分布上的平均损失，公式为$mathcal{R}(f) = mathbb{E}_{(X,Y) sim mathcal{D}}[ell(f(X), Y)]$。它反映了模型在整个数据分布上的泛化能力。结构化要点对象与输入：学习器$f: mathcal{X} to mathcal{Y}$，数据由未知分布$mathcal{D}$生成，用损失$ell$度量误差。例如在语音识别任务中，$f$是将语音信号映射到文字的函数，$mathcal{D}$是各种语音数据的分布。解读：在“测试分布”上取期望，衡量$f$的泛化表现，与具体训练样本无关。这意味着期望风险关注的是模型在未见过的数据上的表现。与经验风险区别：$mathcal{R}(f)$是给定$f$与$mathcal{D}$时的确定值；经验风险$hat{mathcal{R}}(f)$是训练集上的样本平均，具有随机性。因为经验风险是基于有限的训练样本计算的，而期望风险考虑的是整个数据分布。噪声下的极限：最优预测器$f_$通常也有$mathcal{R}(f_) 0$，这是因为标签噪声不可完全消除。例如在医疗诊断数据中，可能存在诊断错误的情况，导致即使是最优模型也无法达到零期望风险。关键记忆点损失选取会改变$mathcal{R}$的语义，分类、回归等任务关注点不同。比如在分类任务中，更关注模型是否将样本正确分类；而在回归任务中，更关注预测值与真实值的接近程度。$mathcal{R}$面向未来样本，训练误差只是对它的估计。训练误差是基于训练样本计算的，而未来样本的分布可能与训练样本不同，所以训练误差不能完全代表模型的泛化能力。算法设计目标：让$mathcal{R}(hat{f})$接近$mathcal{R}(f_*)$，即让模型的期望风险尽可能接近最优预测器的期望风险。典型例子分类任务（0 - 1损失）：损失函数为$ell(hat{y}, y) = mathbb{1}{hat{y} neq y}$，预测错误时损失为1，否则为0。记$eta(x) = mathbb{P}(Y = 1 mid X = x)$，则点态最小错误率为$r^(x) = min{eta(x), 1 - eta(x)}$，最优预测器为$f_(x) = mathbb{1}{eta(x) geq frac{1}{2}}$。例如若$eta(x) = 0.7$，则$f_*(x) = 1$，该点对$mathcal{R}$的贡献为$0.3$。回归任务（平方损失）：损失函数为$ell(hat{y}, y) = (hat{y} - y)^2$。Bayes预测器为$f_(x) = mathbb{E}[Y mid X = x]$，且此时$mathcal{R}(f_) = mathbb{E}[text{Var}(Y mid X)]$。例如若$Y mid X = x sim mathcal{N}(mu(x), sigma^2)$，则该点的最小期望损失为$sigma^2$，如$sigma = 2$，贡献为$4$。概率输出任务（对数损失）：损失函数为$ell(hat{p}, y) = -log hat{p}(y)$。最优为$hat{p}(cdot mid x) = mathbb{P}(Y = cdot mid X = x)$，点态最小值为条件熵$H(Y mid X = x) = -sum_{y} mathbb{P}(y mid x) log mathbb{P}(y mid x)$。三、经验风险（Empirical Risk）定义：基于训练集$S = {(x_i, y_i)}{i=1}^n$，经验风险是训练集上的平均损失，公式为$hat{mathcal{R}}(f) = frac{1}{n} sum{i=1}^n ell(f(x_i), y