统计学习概论（一）

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的交叉学科，也称为统计机器学习。以下是对统计学习各方面的详细介绍：主要特点以计算机及网络为平台，依赖其强大的计算和存储能力开展研究与应用。以数据为研究对象，是数据驱动的学科，数据是其核心要素。目的是对数据进行预测与分析，为决策提供依据或提升计算机性能。以方法为中心，通过构建和应用模型实现预测与分析。是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，有独自的理论体系与方法论。研究对象统计学习研究的对象是数据，包括数字、文字、图像、视频、音频数据及其组合。基本假设是同类数据具有一定统计规律性，如英文文章、互联网网页等，可用概率统计方法处理，用随机变量描述数据特征，用概率分布描述统计规律。以变量或变量组表示数据，分为连续变量和离散变量表示的类型，本书以讨论离散变量的方法为主，且不涉及数据的观测和收集问题。目的用于对数据的预测与分析，尤其是对未知新数据的预测与分析。对数据的预测可提高计算机智能化程度或某些性能；对数据的分析可让人们获取新知识、带来新发现。通过构建概率统计模型实现预测与分析，总目标是考虑学习什么样的模型和如何学习模型，以准确预测与分析数据并提高学习效率。方法基于数据构建概率统计模型对数据进行预测与分析，由监督学习、无监督学习和强化学习等组成。统计学习方法概括：从给定、有限、用于学习的训练数据集合出发，假设数据独立同分布产生，假设要学习的模型属于某个函数的集合（假设空间），应用某个评价准则从假设空间中选取最优模型，使其对已知训练数据和未知测试数据在给定评价准则下有最优预测，最优模型的选取由算法实现。统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法，即模型、策略和算法三要素。实现步骤：得到有限训练数据集合；确定包含所有可能模型的假设空间；确定模型选择准则（学习策略）；实现求解最优模型的算法（学习算法）；通过学习方法选择最优模型；利用最优模型对新数据进行预测或分析。重要性是处理海量数据的有效方法，在信息爆炸时代，能处理规模大且具有不确定性的数据。是计算机智能化的有效手段，虽模仿人类智能有局限性，但仍是实现计算机智能化的最有效手段之一。是计算机科学发展的重要组成部分，主要属于信息这一维，并在其中起核心作用。