机器学习概述

July 1, 2025 4 分钟阅读

§1.1 机器学习的基本概念

机器学习（Machine Learning） 是人工智能的一个重要分支，指通过数据自动学习模型，以实现某种任务的过程。其核心思想是“用数据驱动算法”，而非依赖人工编程明确规则。

定义（Mitchell, 1997）：如果一个程序在某类任务T上的性能度量P随着经验E的增加而提升，则称该程序从经验E中学习。

关键要素：

任务（Task）：模型要完成的功能（如分类、回归等）；
经验（Experience）：通常为数据集；
性能度量（Performance Metric）：用于评估模型在任务上的表现，如准确率、均方误差等。

举例：垃圾邮件识别系统就是一个通过标注邮件数据学习分类器的机器学习系统。

机器学习与传统编程的区别：

传统编程：数据 + 程序 → 输出
机器学习：数据 + 输出 → 程序（模型）

机器学习的应用领域：

计算机视觉：图像识别、目标检测、人脸识别
自然语言处理：机器翻译、情感分析、文本生成
推荐系统：商品推荐、内容推荐
语音识别：语音转文字、语音合成
金融领域：风险评估、算法交易、信用评分
医疗健康：疾病诊断、药物发现、基因分析

§1.2 机器学习分类

机器学习可按照监督信息的有无分为三大类：

1. 有监督学习（Supervised Learning）

定义：在训练过程中，数据包含输入 $ x $ 与对应的标注 $ y $，目标是学习一个从输入到输出的映射函数 $ f: x \rightarrow y $。
任务类型：
- 分类（Classification）：
  - 二分类：如垃圾邮件检测、医疗诊断
  - 多分类：如手写数字识别、图像分类
  - 多标签分类：如文档标签预测、基因功能预测
- 回归（Regression）：
  - 线性回归：如房价预测、股价预测
  - 非线性回归：如销量预测、温度预测
常见算法：
- 线性回归、逻辑回归
- 决策树、随机森林
- 支持向量机（SVM）
- 神经网络、深度学习
示例：图像数据带有物体类别标签，通过学习大量标注图像来识别新图像中的物体。

2. 无监督学习（Unsupervised Learning）

定义：训练数据不包含标签，目标是从数据中发现隐藏的结构、模式或分布。
任务类型：
- 聚类（Clustering）：
  - K-Means：基于距离的硬聚类
  - 层次聚类：构建聚类树
  - DBSCAN：基于密度的聚类
  - 高斯混合模型（GMM）：概率聚类
- 降维（Dimensionality Reduction）：
  - 主成分分析（PCA）：线性降维
  - t-SNE：非线性降维可视化
  - 自编码器：基于神经网络的降维
- 关联规则挖掘：发现数据项之间的关联关系
- 密度估计：估计数据的概率分布
- 异常检测：识别异常或离群数据点
常见算法：
- K-Means、DBSCAN、层次聚类
- PCA、ICA、t-SNE
- 自组织映射（SOM）
- 生成对抗网络（GAN）
示例：从客户交易记录中划分潜在用户群体，发现不同消费习惯的客户群。

3. 半监督学习（Semi-supervised Learning）

定义：数据集中只有少量数据有标签，大量数据无标签。目标是利用无标签数据提高模型性能。
应用场景：标注成本高昂的领域（如医疗、遥感影像等）
常见方法：
- 自训练（Self-training）：用已标注数据训练模型，对无标签数据预测，选择高置信度样本加入训练集
- 协同训练（Co-training）：训练多个不同的分类器，互相提供伪标签
- 标签传播（Label Propagation）：在图结构上传播标签信息
- 生成式方法：如变分自编码器（VAE）、生成对抗网络
- 图神经网络（GNN）：在图数据上进行半监督分类
数学基础：
- 平滑假设：相似的样本应有相似的标签
- 聚类假设：决策边界应经过低密度区域
- 流形假设：高维数据分布在低维流形上
示例：医疗影像识别中只有少数病例标注了病灶区域，利用大量无标注影像提升诊断准确率。

4. 强化学习（Reinforcement Learning）

定义：智能体在环境中通过试错学习，以最大化累积奖励为目标。
核心概念：
- 状态（State）、动作（Action）、奖励（Reward）
- 策略（Policy）、价值函数（Value Function）
应用：游戏AI、机器人控制、自动驾驶
示例：AlphaGo、自动驾驶汽车的路径规划

§1.3 机器学习三要素

1. 模型（Model）

定义：用于表示输入到输出映射关系的函数。模型的选择直接影响学习能力和表现。
模型复杂度：
- 简单模型：线性模型、逻辑回归等，参数少，解释性强，但可能欠拟合
- 复杂模型：深度神经网络、集成方法等，表达能力强，但可能过拟合
常见模型类型：
- 线性模型：线性回归、逻辑回归、线性SVM
- 非线性模型：决策树、随机森林、核SVM
- 神经网络：多层感知机、卷积神经网络、循环神经网络
- 概率模型：朴素贝叶斯、高斯混合模型、隐马尔可夫模型
- 集成模型：Bagging、Boosting、Stacking
参数与超参数：
- 参数（Parameters）：模型内部待学习的变量，如权重和偏置
- 超参数（Hyperparameters）：模型外部需要人工设定的参数，如学习率、正则化系数
模型结构设计原则：
- 简单性原则（奥卡姆剃刀）
- 可解释性与性能的平衡
- 计算效率考量

2. 策略（Objective Function / Criterion）

定义：用于衡量模型好坏的标准，指导模型参数的学习方向。
损失函数（Loss Function）：
- 分类任务：
  - 0-1损失：$ L(y, \hat{y}) = \mathbb{I}(y \neq \hat{y}) $
  - 交叉熵损失：$ L(y, \hat{y}) = -\sum_{i} y_i \log(\hat{y}_i) $
  - Hinge损失（SVM）：$ L(y, \hat{y}) = \max(0, 1 - y\hat{y}) $
- 回归任务：
  - 均方误差（MSE）：$ L(y, \hat{y}) = \frac{1}{2}(y - \hat{y})^2 $
  - 平均绝对误差（MAE）：$ L(y, \hat{y}) = y - \hat{y} $
  - Huber损失：结合MSE和MAE的优点
风险函数（Risk Function）：
- 经验风险：$ R_{emp}(f) = \frac{1}{N} \sum_{i=1}^{N} L(y_i, f(x_i)) $
- 结构风险：$ R_{srm}(f) = R_{emp}(f) + \lambda \Omega(f) $
- 其中 $ \Omega(f) $ 是正则化项，$ \lambda $ 是正则化系数
正则化技术：
- L1正则化：$ \Omega(w) = |w|1 = \sum{i} w_i $（特征选择）
- L2正则化：$ \Omega(w) = |w|2^2 = \sum{i} w_i^2 $（权重衰减）
- 弹性网络：L1和L2的结合
- Dropout：随机置零部分神经元
目标函数设计原则：
- 可微性（便于优化）
- 凸性（全局最优解）
- 鲁棒性（对异常值不敏感）

3. 算法（Algorithm）

定义：用于最小化损失函数、求解模型参数的具体方法和步骤。
优化算法分类：
- 一阶方法：基于梯度信息
  - 梯度下降（GD）：$ w_{t+1} = w_t - \eta \nabla L(w_t) $
  - 随机梯度下降（SGD）：每次使用单个样本或小批量
  - 小批量梯度下降（Mini-batch GD）：平衡效率和稳定性
- 二阶方法：使用二阶导数信息
  - 牛顿法：$ w_{t+1} = w_t - H^{-1} \nabla L(w_t) $
  - 拟牛顿法：BFGS、L-BFGS等
自适应优化器：
- AdaGrad：自适应调整学习率
- RMSprop：解决AdaGrad学习率过快衰减问题
- Adam：结合动量和自适应学习率
- AdamW：改进的权重衰减方法
学习率调度：
- 固定学习率、指数衰减、余弦退火
- 学习率预热（Warm-up）
- 周期性学习率调整
收敛性分析：
- 收敛速度、局部最优vs全局最优
- 学习率选择的影响
- 批量大小对收敛的影响
算法选择考虑因素：
- 数据规模（大数据适合SGD）
- 模型复杂度
- 计算资源限制
- 收敛速度要求

§1.4 机器学习模型评估与选择

在构建机器学习模型后，需评估其性能，并选择最佳模型。以下是模型评估的关键内容：

§1.4.1 训练误差与测试误差

训练误差（Training Error）：模型在训练集上的误差，反映模型对训练数据的拟合程度。
- 数学表示：$ E_{train} = \frac{1}{N_{train}} \sum_{i=1}^{N_{train}} L(y_i, f(x_i)) $
验证误差（Validation Error）：模型在验证集上的误差，用于模型选择和超参数调优。
测试误差（Test Error）：模型在独立测试集上的误差，反映模型的真实泛化能力。
- 数学表示：$ E_{test} = \frac{1}{N_{test}} \sum_{i=1}^{N_{test}} L(y_i, f(x_i)) $
泛化误差（Generalization Error）：模型对未知数据的期望误差。
- $ E_{generalization} = \mathbb{E}_{(x,y) \sim P}[L(y, f(x))] $

误差分析：

理想情况：训练误差和测试误差都较小且接近
过拟合：训练误差很小，但测试误差大
欠拟合：训练误差和测试误差都较大

影响因素：

数据集大小和质量
模型复杂度
特征选择和工程
正则化方法

训练误差过低而测试误差高，常表明 过拟合（Overfitting）。

§1.4.2 过拟合与模型选择

过拟合（Overfitting）

定义：模型过度学习训练数据中的噪声或特殊样本，导致泛化能力下降。
表现：训练误差很小，但验证/测试误差较大
产生原因：
- 模型复杂度相对于数据量过高
- 训练时间过长
- 特征过多或存在噪声特征
- 缺乏正则化
检测方法：
- 观察训练误差与验证误差的变化曲线
- 使用学习曲线分析
- 交叉验证结果分析

欠拟合（Underfitting）

定义：模型无法捕捉数据的基本规律，表现为训练误差和测试误差均较高。
产生原因：
- 模型过于简单，表达能力不足
- 特征不足或特征选择不当
- 正则化过强
- 训练不充分
识别特征：
- 训练误差和验证误差都较高
- 增加模型复杂度能显著改善性能

偏差-方差权衡（Bias-Variance Trade-off）

偏差（Bias）：模型预测的期望值与真实值的差异
- 高偏差通常导致欠拟合
方差（Variance）：模型预测值的变异程度
- 高方差通常导致过拟合
噪声（Noise）：数据中的不可预测部分
分解公式： $E[(y - \hat{f}(x))^2] = \text{Bias}^2[\hat{f}(x)] + \text{Var}[\hat{f}(x)] + \sigma^2$

应对策略

防止过拟合：

增加数据量：收集更多训练样本
数据增强：通过变换增加数据多样性
正则化：
- L1/L2正则化
- Dropout（神经网络）
- 早停（Early Stopping）
降低模型复杂度：
- 减少参数数量
- 特征选择
- 模型剪枝
集成方法：Bagging、随机森林等
交叉验证：更好的模型评估

解决欠拟合：

增加模型复杂度：更多参数、更深网络
特征工程：增加更多有效特征
减少正则化强度
增加训练时间
选择更强大的模型

模型选择原则

复杂度控制：在满足性能要求下选择最简单的模型
验证策略：使用独立的验证集进行模型选择
多指标评估：不仅看准确率，还要考虑计算效率、可解释性等
鲁棒性测试：模型在不同数据分布下的表现
业务约束：考虑实际应用中的限制条件

§1.4.3 模型评估方法

1. 留出法（Hold-out）

原理：将数据随机划分为训练集和测试集
常见划分比例：
- 70%/30%（训练/测试）
- 80%/20%（训练/测试）
- 60%/20%/20%（训练/验证/测试）
优点：简单高效，计算成本低
缺点：
- 评估结果受划分影响较大
- 数据利用率不高
- 对小数据集不适用
适用场景：大数据集，快速原型验证

2. 交叉验证（Cross Validation）

K折交叉验证（K-Fold CV）：

步骤：
1. 将数据分为K个等大小的折（fold）
2. 每次用K-1个折训练，1个折验证
3. 重复K次，每个折都作为验证集一次
4. 计算K次结果的平均值和标准差
数学表示： $CV_K = \frac{1}{K} \sum_{i=1}^{K} E_i$
常用K值：5折、10折
优点：
- 数据利用率高
- 结果更稳定可靠
- 能评估模型稳定性
缺点：计算成本高

分层交叉验证（Stratified CV）：

保持各类别比例一致
适用于类别不平衡问题

留一交叉验证（LOOCV）：

K = N（样本数量）
每次只留一个样本作验证
适用于小数据集，但计算成本极高

时间序列交叉验证：

考虑时间顺序，避免未来信息泄露
滑动窗口验证

3. 自助法（Bootstrap）

原理：有放回地随机采样构造训练集
步骤：
1. 从原始数据集有放回地采样N个样本作为训练集
2. 未被采样的样本（约36.8%）作为测试集
3. 重复多次，计算平均性能
优点：
- 适用于小数据集
- 能评估模型不确定性
- 数据利用率高
缺点：
- 训练集中有重复样本
- 测试集较小，估计可能不准确
应用：模型不确定性估计、置信区间计算

4. 其他评估方法

蒙特卡罗交叉验证：

多次随机划分数据
更灵活的划分比例

嵌套交叉验证：

外层CV用于模型评估
内层CV用于超参数选择
避免数据泄露

§1.4.4 性能度量方法

1. 分类任务

基本概念：

混淆矩阵（Confusion Matrix）：
```
             预测
实际    |  正类  |  负类  |
--------|-------|-------|
正类    |   TP  |   FN  |
负类    |   FP  |   TN  |
```
- TP（True Positive）：真正类
- FN（False Negative）：假负类
- FP（False Positive）：假正类
- TN（True Negative）：真负类

主要指标：

准确率（Accuracy）： $\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}$
- 适用于类别平衡的数据
精确率（Precision）： $\text{Precision} = \frac{TP}{TP + FP}$
- 预测为正的样本中实际为正的比例
- 关注误报率
召回率（Recall/Sensitivity）： $\text{Recall} = \frac{TP}{TP + FN}$
- 实际为正的样本中被正确预测的比例
- 关注漏报率
F1分数（F1 Score）： $F1 = \frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}} = \frac{2TP}{2TP + FP + FN}$
- 精确率和召回率的调和平均
- 平衡精确率和召回率
F_β分数： $F_\beta = (1 + \beta^2) \cdot \frac{\text{Precision} \cdot \text{Recall}}{\beta^2 \cdot \text{Precision} + \text{Recall}}$
- β > 1：更关注召回率
- β < 1：更关注精确率
特异性（Specificity）： $\text{Specificity} = \frac{TN}{TN + FP}$
- 实际为负的样本中被正确预测的比例

高级指标：

ROC曲线：
- 横轴：假正率（FPR）= FP/(FP+TN)
- 纵轴：真正率（TPR）= TP/(TP+FN)
- 反映不同阈值下的分类性能
AUC（Area Under Curve）：
- ROC曲线下面积
- 范围：[0,1]，越接近1越好
- 不受类别不平衡影响
PR曲线：
- 横轴：召回率，纵轴：精确率
- 适用于类别不平衡数据
平均精度（AP）：
- PR曲线下面积
- mAP：多类别平均精度

多分类指标：

宏平均（Macro Average）：各类别指标的算术平均
微平均（Micro Average）：所有样本混合计算
加权平均（Weighted Average）：按类别频率加权

2. 回归任务

均方误差（MSE）： $MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$
均方根误差（RMSE）： $RMSE = \sqrt{MSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}$
平均绝对误差（MAE）： $MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|$
平均绝对百分比误差（MAPE）： $MAPE = \frac{100\%}{n} \sum_{i=1}^{n} \left|\frac{y_i - \hat{y}_i}{y_i}\right|$
决定系数（R²）： $R^2 = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}$
- 范围：(-∞, 1]，越接近1越好
- 解释方差的比例
调整R²： $R_{adj}^2 = 1 - \frac{(1-R^2)(n-1)}{n-p-1}$
- 考虑特征数量的影响

3. 聚类任务

内部指标（不需要真实标签）：

轮廓系数（Silhouette Coefficient）： $s(i) = \frac{b(i) - a(i)}{\max(a(i), b(i))}$
- a(i)：样本i到同簇其他样本的平均距离
- b(i)：样本i到最近邻簇的平均距离
Calinski-Harabasz指数： $CH = \frac{\text{类间离散度}}{\text{类内离散度}} \times \frac{n-k}{k-1}$
Davies-Bouldin指数：值越小越好

外部指标（需要真实标签）：

调整兰德指数（ARI）
标准化互信息（NMI）
V-measure

4. 其他任务指标

排序任务：

NDCG（Normalized Discounted Cumulative Gain）
MAP（Mean Average Precision）
MRR（Mean Reciprocal Rank）

生成任务：

BLEU：机器翻译质量评估
ROUGE：文本摘要质量评估
FID：图像生成质量评估
IS（Inception Score）：图像生成多样性和质量

推荐系统：

点击率（CTR）
转化率（CVR）
多样性指标
新颖性指标

指标选择原则

任务相关性：选择与业务目标一致的指标
数据特性：考虑类别平衡、数据规模等
可解释性：选择业务人员容易理解的指标
稳定性：选择对噪声不敏感的指标
计算效率：在线系统需要考虑计算成本

常见误区：

单一指标评估
忽略业务背景
不考虑数据分布
过度关注准确率（类别不平衡时）

§1.5 机器学习的发展历程与趋势

§1.5.1 发展历程

第一阶段：符号学习（1950s-1980s）

专家系统、决策树、符号推理
代表人物：Alan Turing、Marvin Minsky

第二阶段：连接主义（1980s-1990s）

神经网络的兴起、反向传播算法
代表成果：多层感知机、Hopfield网络

第三阶段：统计学习（1990s-2010s）

支持向量机、核方法、集成学习
统计学习理论的建立
代表人物：Vladimir Vapnik、Leo Breiman

第四阶段：深度学习（2010s至今）

大数据、GPU计算、深度神经网络
代表成果：ImageNet、AlphaGo、ChatGPT

§1.5.2 当前趋势

大模型时代：
- 参数规模不断增长（GPT系列、PaLM等）
- 多模态大模型（GPT-4V、DALL-E等）
- 模型压缩和高效推理
自动化机器学习（AutoML）：
- 神经架构搜索（NAS）
- 超参数自动优化
- 特征工程自动化
可解释AI：
- 模型可解释性研究
- 因果推理
- 公平性和伦理考量
联邦学习：
- 数据隐私保护
- 分布式协作学习
- 边缘计算集成

§1.6 机器学习实践指南

§1.6.1 项目流程

问题定义：
- 明确业务目标
- 确定技术指标
- 评估可行性
数据收集与准备：
- 数据获取和清洗
- 探索性数据分析（EDA）
- 特征工程
模型选择与训练：
- 基线模型建立
- 算法选择和调优
- 验证策略设计
模型评估与优化：
- 多指标评估
- 错误分析
- 模型解释
部署与监控：
- 模型部署
- 性能监控
- 在线学习

§1.6.2 最佳实践

数据方面：

重视数据质量胜过算法复杂度
充分的探索性数据分析
合理的数据划分策略
处理数据不平衡问题

模型方面：

从简单模型开始
建立强基线模型
系统性的超参数调优
集成多个模型

评估方面：

使用多个评估指标
交叉验证验证模型稳定性
关注业务指标而非技术指标
进行错误分析

工程方面：

代码模块化和版本控制
实验管理和结果记录
模型版本管理
自动化测试

§1.6.3 常见陷阱

数据泄露：
- 未来信息泄露到训练数据
- 验证集信息泄露
- 标签泄露
过度优化：
- 在验证集上过度调参
- 忽视模型泛化能力
- 追求单一指标最优
评估偏差：
- 训练集测试集分布不一致
- 评估指标选择不当
- 忽视时间序列特性
实施问题：
- 忽视部署环境差异
- 缺乏监控机制
- 模型维护不及时

本章小结：

机器学习作为人工智能的核心技术，其理论基础和实践方法正在不断发展完善。本章从以下几个方面进行了全面介绍：

基本概念：机器学习是通过数据自动学习模型的过程，核心要素包括任务、经验和性能度量。

学习范式：根据监督信息可分为有监督学习、无监督学习、半监督学习和强化学习四大类，每类都有其特定的应用场景和算法。

三要素框架：模型（表示）、策略（评估）、算法（优化）构成了机器学习的理论基础，为算法设计提供了统一框架。

评估体系：从训练误差与测试误差的关系出发，深入分析了过拟合与欠拟合问题，介绍了交叉验证等评估方法和各类性能指标。

实践指导：结合发展趋势和最佳实践，为实际项目提供了系统性的指导原则。

理解这些基础概念和原理，是掌握后续具体算法和技术的前提。在实际应用中，需要根据具体问题选择合适的方法，并注意避免常见的陷阱和误区。

思考题：

为什么说机器学习是”用数据驱动算法”？与传统编程有何本质区别？

在什么情况下应该选择有监督学习？什么情况下选择无监督学习？

如何在模型复杂度和泛化能力之间找到平衡点？

对于类别不平衡的分类问题，应该选择哪些评估指标？为什么？

X Facebook LinkedIn Bluesky Reddit Douyin Weibo Pinterest Zhihu Email

Cao Jiahao