SL Scikit-Learn Learn 机器学习教程

Glossary

机器学习术语表

课程中反复出现但容易混淆的核心术语,按主题分类整理,每个词条给出简明定义并链接到对应章节的深入讲解。

基础概念

样本(Sample)

数据集中的一行观测记录,也叫实例或数据点,对应现实世界中的一次观察。

特征(Feature)

描述样本的单个可测量属性,是模型的输入变量,通常对应表格的一列。

在第 04 章深入

标签(Label)

监督学习中样本对应的真实答案或目标值,模型训练时用来计算误差、预测时是要输出的结果。

参数(Parameter)

模型在训练过程中从数据里学出来的内部数值,例如线性回归的系数与截距。

在第 02 章深入

超参数(Hyperparameter)

训练开始前由人工设定、不由数据直接学出的配置项,例如 KNN 的 n_neighbors、正则化强度 C,通常通过交叉验证选择。

在第 03 章深入

训练与推理(Training / Inference)

训练是模型根据已知样本和标签学习参数的过程;推理是用训练好的模型对新样本做预测的过程。

泛化(Generalization)

模型在没见过的新数据上依然保持良好表现的能力,是机器学习追求的核心目标,而不是单纯记住训练数据。

模型评估与偏差方差

偏差(Bias)

模型假设过于简单导致的系统性误差,偏差高时模型在训练集上表现也不好,通常表现为欠拟合。

方差(Variance)

模型对训练数据的微小变化过度敏感导致的误差,方差高时训练集表现很好但测试集表现差,通常表现为过拟合。

欠拟合(Underfitting)

模型复杂度不足,无法捕捉数据规律,训练集和测试集上的表现都不理想,对应高偏差。

过拟合(Overfitting)

模型过度拟合训练集中的噪声和细节,训练误差很低但测试误差偏高,对应高方差。

在第 08 章深入

损失函数(Loss Function)

衡量模型预测值与真实标签之间差距的函数,训练过程本质是在最小化损失函数,例如均方误差、对数损失。

在第 02 章深入

交叉验证(Cross Validation)

把训练集反复划分为若干折,轮流作为验证集评估模型,从而更稳健地估计模型在新数据上的表现,减少单次划分带来的偶然性。

在第 06 章深入

工程与工作流

正则化(Regularization)

在损失函数中加入惩罚项以限制模型复杂度、缓解过拟合。L1(Lasso)会把不重要特征的系数压缩为 0,L2(Ridge)会让所有系数整体变小。

在第 05 章深入

Pipeline

把预处理步骤(如标准化、编码)与模型训练串联成一个可复用对象,保证训练和预测时使用完全一致的处理逻辑,是防止数据泄漏的关键工具。

在第 04 章深入

ColumnTransformer

按列对不同类型的特征(数值列、类别列)分别应用不同的预处理步骤,再拼接成统一的特征矩阵,通常与 Pipeline 搭配使用。

数据泄漏(Data Leakage)

训练阶段意外用到了测试集信息(或未来信息),导致离线评估指标虚高、上线后效果骤降。常见诱因是在数据拆分前做了标准化或 PCA 等操作。

在第 14 章深入

没找到想要的术语?

术语表会随着课程更新持续补充。如果某个概念在课程正文里反复出现却没有收录在这里,欢迎直接到对应章节的检查点区域确认定义。