简介：面向机器学习入门者的《1. 机器学习前置知识》配套数据集，围绕前置知识章节设计了多个真实业务场景，涵盖电影评分、新闻标题、星巴克门店、股票行情与出行记录等常见数据形态，适合初学者在接触建模算法前，先系统练习数据加载、清洗、探索性分析与简单可视化。压缩包共含6个文件，其中4个CSV表格可直接用于熟悉结构化数据的读取、筛选与聚合，1个JSON文件帮助理解半结构化文本的解析与转换，1个HDF5文件用于掌握序列化数据的存储与读取；整体仅约2.76MB，体量轻巧，便于本地快速下载与反复实验。目前已有4366人学习下载，能够配合视频课程或图文笔记边看边练，尤其适合课程作业、自学实践或项目预研。借助这些真实数据，学习者可以直观体会不同数据格式的处理差异，掌握从原始数据到可用训练样本的完整预处理流程，为后续机器学习特征工程与建模打下扎实基础。

1. 机器学习前置知识配套数据集：给谁用、解决什么

很多入门机器学习的人卡在同一个地方：公式推了一遍，概念背得出来，但一到动手就发现手里没有能跑的数据。吴恩达课程、西瓜书、学校期末和各类慕课，讲完前置知识之后都会让你去练分类、练回归、练聚类，可是数据从哪来、格式什么样、怎么读进内存，教材里从来不写。《1. 机器学习前置知识》配套数据集就是补这个空档的——它把前置课里提到的概念映射成一组能直接跑起来的数据文件，覆盖分类、回归、聚类、降维和图像识别这几类最常见的练手任务，让理论课和第一次写 fit/predict 之间不再断档。适合自学入门、准备考研复试、期末突击复习的读者，也适合带新课的助教拿去布置作业。

2. 一套入门数据集该装什么：5类任务与三种文件形态

2.1 监督学习三件套：分类、回归、多分类的标配数据

前置知识阶段最常见的练手任务是二分类、多分类和回归。二分类数据集里最经典的是乳腺癌诊断这类结构，特征列是细胞属性，标签列只有 0 和 1；多分类则绕不开鸢尾花数据集，四个特征对应三个物种；回归任务通常会用房价或波士顿房价这类数值型目标。我这套配套数据的组织方式，就是按任务类型分目录，每个目录下放一个 CSV 和一个 README，CSV 里第一行是列名，最后一列是标签，中间全是数值特征。这样设计的原因很直接：新手不需要理解复杂的目录结构，一个 pandas.read_csv 就能把数据拿到手，专注力全放在算法上。

2.2 无监督与降维：聚类和可视化练手数据

聚类和降维是前置课里最容易讲得飘的部分，配套数据必须给它一个落脚点。常见做法是放一份二维分布有明显团状结构的数据，比如三团高斯点云，让 KMeans 一跑就能看到聚类效果；再放一份高维数据用于 PCA 可视化，比如手写数字的特征矩阵降维到二维平面。这里有个容易被忽略的细节：无监督数据不要给标签列，或者把标签单独放在另一个文件里。如果 CSV 里天然带着标签列，新手会不自觉地拿它去算准确率，这就偏离了前置课的训练目标。我会把带标签版本放在 label 子目录，无监督版本放在 raw 子目录，用文件名后缀区分，避免误导。

2.3 从通用到专用：图像数据集的目录组织方式

入门阶段需要接触图像数据，但不需要一上来就面对 COCO、DOTA 那种带复杂标注格式的专用数据集。前置课配套数据里的图像部分，最常见的形态是扁平化的像素矩阵，也就是把 28×28 的灰度图拉成 784 维的一行，MNIST 就是这种结构。另一种形态是目录即标签，每个类别一个文件夹，里面放若干张图，这种组织方式在迁移学习和图像分类入门里很常见。值得注意的是，像 CCPD 车牌数据集、HRSC2016 遥感舰船数据集、PHM2012 轴承数据这类专用数据集，它们的标注格式与组织逻辑都高度定制，需要配合专用解析工具才能用，不适合放进前置课第一阶段。判断一套配套数据集是否合格，标准就是启动成本：拿到手五分钟内能不能开始第一次训练。

3. 数据到手先做三件事：校验完整、预览分布、划分训练集

3.1 用 MD5 校验文件完整性，防止数据悄悄损坏

从网上下载的数据集，最大的隐性风险不是格式不对，而是文件传输过程中发生了静默损坏。CSV 文件如果丢了几行，pandas 读的时候可能毫无异常，但训练出来的模型精度会莫名掉一截。拿到配套数据的第一件事，应该是核对校验值。常见的做法是发布方提供一个 checksum 清单，下载方用 Python 逐文件核对：

import hashlib from pathlib import Path def verify_md5(file_path: str, expected_md5: str) -> bool: """核对单个文件的 MD5 值，防止下载过程损坏""" hash_md5 = hashlib.md5() # 分块读取，避免一次性把大文件载入内存 with open(file_path, "rb") as f: for chunk in iter(lambda: f.read(4096), b""): hash_md5.update(chunk) return hash_md5.hexdigest() == expected_md5 # 用法示例：把每个文件的期望 MD5 放在 checksum.txt 里，逐行比对 # 如果返回 False，说明文件不完整，需要重新下载

这段代码的逻辑是标准的流式哈希：逐块读取文件内容更新 MD5 摘要，最后比对十六进制结果。参数里值得注意的一点是 4096 这个块大小，它对小文件没影响，但遇到几百 MB 的数据集时，块太小会让 IO 次数变多、校验变慢，块太大又浪费内存，4KB 是通用折中选择。实际使用中，校验失败最常见的原因是下载工具中断后自动重试但文件没写完整，这时直接删掉重新下载比手动修补可靠得多。

3.2 用 pandas 做结构预览与统计口径确认

校验通过之后，第二步是快速了解数据的长相。常见做法是写一个三件套的脚本：head 看前几行、info 看列类型和非空数量、describe 看数值分布。这一步的价值是确认数据的统计口径，前置数据集的 README 里写着“年龄单位是岁”，但实际数据里可能出现 0 或者负数，这些只能靠肉眼扫分布才能发现。

import pandas as pd df = pd.read_csv("data/classification/breast_cancer.csv") print(df.head()) # 前 5 行，检查列名和样例值 print(df.info()) # 列类型、非空数量，确认没有读成字符串 print(df.describe()) # 数值列的均值、标准差、min、max，抓异常值

这段代码的逻辑很简单，但参数说明里有几个细节。read_csv 默认把纯数字列读成 int64 或 float64，但如果某一列有缺失值 pandas 会用 NaN 填充，整列可能被升级成 float64，这是正常现象。describe 默认只统计数值列，如果发现某个本该是数值的列没出现在统计结果里，基本可以断定该列存在非数字内容。我见过最典型的翻车现场是：CSV 里混入了中文逗号，导致整列读成字符串，模型跑起来全是类型报错。

3.3 train_test_split 划分：随机种子与分层策略

第三步是划分训练集和测试集。这个动作看起来简单，但隐藏着前置课里最容易出问题的一个点：数据泄漏。只要在划分之前做过任何基于全量数据的预处理，比如用全量均值填充缺失值，验证集的信息就已经渗进了训练过程。配套数据集阶段，正确的顺序是先用 train_test_split 切分，再去做归一化和填充。

from sklearn.model_selection import train_test_split # 假设最后一列是标签 y，前面所有列是特征 X X = df.iloc[:, :-1] y = df.iloc[:, -1] X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, # 测试集占 20% random_state=42, # 固定随机种子，保证结果可复现 stratify=y # 按标签比例分层采样，分类任务强烈建议开启 )

这段代码的逻辑核心是 stratify 参数。如果不分层，二分类数据里正负样本 9:1，随机划分后测试集可能恰好全是负样本，模型评估出来就是一个假准确率。stratify=y 会保证训练集和测试集里的类别比例与全量数据一致。random_state=42 是约定俗成的固定值，目的是让每次运行划分结果一致，方便横向对比不同算法的效果。如果你做的是回归任务，没有类别标签可以分层，只要固定随机种子即可。注意，分层参数只接受一维标签数组，传 DataFrame 会直接报错，这是初学者最常碰到的异常之一。

4. 从CSV到模型输入：缺失值、编码与归一化的入门套路

4.1 缺失值处理的三个层次：删、填、标记

前置配套数据集的 CSV 里通常不会故意放大量缺失值，但你应该具备处理它的能力。缺失值处理有三个层次，按使用频率排列：直接删除、统计量填充、缺失标记。删除适用于缺失比例低于 5% 且随机分布的行；填充适用于缺失比例较高的列，常用均值、中位数或众数；标记则是把“是否缺失”本身当作一个特征，适用于缺失行为可能有信息量的场景，比如用户填写问卷时跳过某题可能意味着态度消极。

# 层次一：删除缺失比例过高的列 df = df.dropna(thresh=len(df) * 0.95, axis=1) # 层次二：用中位数填充数值列（中位数比均值对异常值更鲁棒） num_cols = df.select_dtypes(include=["float64", "int64"]).columns df[num_cols] = df[num_cols].fillna(df[num_cols].median()) # 层次三：给填充过的列加一列缺失标记 df["age_missing"] = df["age"].isna().astype(int)

这里的三个操作对应着不同场景。dropna 的 thresh 参数表示至少保留多少个非空值，thresh=len(df)*0.95 意味着丢弃缺失超过 5% 的列。select_dtypes 用来筛选数值列，避免对字符串列做中位数填充导致类型错误。最后一行的 isna().astype(int) 是生成 0/1 标记的惯用写法。值得强调的是层次二里的中位数选择：前置课里的数据规模小、异常值影响大，均值容易被极端值拉偏，中位数是更稳的默认选择。

4.2 把字符串标签变成数值：LabelEncoder 与 OneHot 的选择

机器学习模型吃不了字符串，这是所有入门教程都会讲的事，但怎么转却是分场景的。标签列如果是二分类，比如“是/否”，直接映射成 0/1 即可；如果是多分类，比如鸢尾花的三个品种，用 LabelEncoder 转成 0、1、2 也不会出问题。但特征列里的字符串和标签列里的字符串处理逻辑完全不同，特征列若是有序等级，比如“低/中/高”，应该映射成 1、2、3 保留顺序关系；若是无序类别，比如颜色“红/绿/蓝”，强转成 0、1、2 会引入不存在的顺序，这时必须 OneHot。

from sklearn.preprocessing import LabelEncoder, OneHotEncoder # 标签列：直接编码 le = LabelEncoder() y_encoded = le.fit_transform(y) # 无序特征列：OneHot 编码，drop="first" 避免共线性 ohe = OneHotEncoder(sparse_output=False, drop="first") X_color_encoded = ohe.fit_transform(X[["color"]])

标签列用 LabelEncoder 的理由是它只做数值映射、不增维，模型输出层可以直接对齐；而特征列用 OneHotEncoder，参数 sparse_output=False 是为了拿到稠密数组，方便后续和数值特征拼接。drop="first" 的作用是去掉第一个类别列，防止线性模型里出现完全共线。实际项目里我见过不少坑：有人在多分类标签上用了 OneHot，导致模型输出维度变成三列，和损失函数对不上；也有人把无序分类特征用 LabelEncoder，训练出来的模型效果玄学般差，改回 OneHot 之后立刻恢复正常。

4.3 归一化与标准化：何时必须做，何时做了反而错

归一化和标准化是前置课里最容易产生误解的部分。归一化（MinMaxScaler）把数据缩放到 [0,1]，适合特征取值范围有明确边界、且算法对尺度敏感的场景；标准化（StandardScaler）把数据变成均值为 0、方差为 1，适合特征分布近似高斯、或后续要使用正则化项的模型。什么时候不能做？决策树、随机森林这类基于分裂的模型对特征尺度不敏感，做了归一化除了浪费时间没有任何收益；而 KNN、SVM、线性回归、神经网络这四类模型，不归一化的话，数值范围大的特征会在距离计算或梯度更新中占据主导地位，模型基本废掉。

from sklearn.preprocessing import StandardScaler, MinMaxScaler from sklearn.pipeline import Pipeline # 标准化：适用于线性模型、SVM、KNN、神经网络 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 必须用训练集的参数，不能重新 fit # 归一化：适用于特征边界明确、无异常值的数据 minmax = MinMaxScaler(feature_range=(0, 1)) X_train_minmax = minmax.fit_transform(X_train)

这段代码最关键的一行是 X_test_scaled 只调用 transform 不调用 fit。scaler 在训练集上拟合出均值和方差之后，测试集必须沿用同一套参数，否则测试分布被独立缩放，等于人为改变了验证口径，评估结果没有任何参考价值。正确做法是放进 Pipeline 里一起处理，fit 和 predict 全流程一致，不会出现忘记 transform 测试集的情况。前置课配套数据集里，理论上每个 CSV 的数值范围都已经控制在合理区间内，但你仍然应该做这一步，因为后续切换自己的数据时，这套动作才是真正通用的能力。

5. 前置数据集使用避坑：5条血泪经验

5.1 最经典翻车：读进来全是字符串，模型直接报错

现象：df.info() 显示所有列都是 object 类型，训练时报 "could not convert string to float"。原因：CSV 文件里混入了不可见字符，最常见的是 Excel 打开另存后引入的 BOM 头或全角空格。解决：在 read_csv 时指定编码和分隔符，读完后用 to_numeric 强制转换并查看错误行：

df = pd.read_csv("data.csv", encoding="utf-8-sig", sep=",") # 定位哪一列无法转数值 for col in df.columns: df[col] = pd.to_numeric(df[col], errors="coerce")

encoding="utf-8-sig" 会自动吃掉 BOM 头，这是 Windows 下 Excel 保存 CSV 最常见的坑。errors="coerce" 会把无法解析的值变成 NaN，然后你就能通过 isnull 定位到具体是哪些脏数据行。不要用 errors="raise"，它在第一行报错就停住，你反而看不到全貌。

5.2 数据泄漏：划分之前做了归一化，评估结果虚高

现象：训练集准确率 98%，测试集也 98%，但换到真实环境跌到 60%。原因：用全量数据的均值做了标准化，测试集的信息已经参与训练数据的统计计算，模型相当于提前偷看了答案。解决：严格遵守先划分、后处理的顺序，或者直接使用 Pipeline。这个问题在期末复习和课程设计里极其常见，因为教材为了简化教学，常常在划分前就演示预处理，学生照抄就踩中。

5.3 标签不平衡：准确率 99%，但模型什么都没学会

现象：二分类数据里正样本占 99%，模型全部预测为正，准确率 99%，但召回率是 0。原因：前置课配套数据为了演示方便，有时不会刻意做类别平衡，直接训练默认的准确率评估会骗人。解决：先用 value_counts 检查标签分布，训练时使用 stratify 划分，评估时同时看 precision、recall、f1。

print(y.value_counts(normalize=True)) # 查看类别占比

如果发现占比悬殊，常见的处理方式是 class_weight="balanced"，让模型在损失函数里自动给少数类加权。不要在入门阶段就用过采样，那个层次太高，容易把前置课变成调参课。先意识到问题存在，比掌握解法更重要。

5.4 图像目录带中文或空格，读取时莫名失败

现象：用 ImageFolder 读图像数据集，部分图片报 "Can't find file"，但路径明明存在。原因：数据集目录里含有中文名或空格，某些图像库底层使用的 C++ 接口对非 ASCII 路径支持不好。解决：把所有目录和文件名统一改成英文小写加下划线。前置课阶段如果用到图像数据，第一时间重命名目录是成本最低的规避手段。另外注意 MNIST 那种扁平矩阵格式没有这个问题，因为它不涉及文件 IO，一整个 CSV 或压缩包就完事。

5.5 版本混淆：鸢尾花数据集也有好几个版本

现象：从不同渠道下载的同一名字数据集，行数、列数不一致。原因：以鸢尾花为例，有的版本是 150 行原始数据，有的版本被处理成 120 行（剔除了离群点），还有的版本多了一列 ID。解决：拿到数据先核对 shape，再核对 README 里标注的版本说明。引用数据集时养成写版本的惯性，比如“鸢尾花 UCI 原始版”，这既是给自己的备忘，也是给下游复用者减少一次踩坑。这个习惯在转向 CCPD、HRSC2016、PHM2012 这类复杂数据集时会更重要，那些数据的版本差异直接决定标注格式能否对上。

6. 进阶：把配套数据集做成一个可复用的本地数据模块

前置课配套数据用顺手之后，你会发现一个规律：每次新开一个项目，都要重复一遍 read_csv、清理、划分的动作。与其每次都重新写，不如把这套动作固化成一个加载器，把数据集的目录结构变成约定，写一次用一年。常见的组织方式是建一个 data_loader.py，内置一个 load 函数，传数据集名字和任务类型，返回已经划分好的 X_train、X_test、y_train、y_test。

from pathlib import Path import pandas as pd from sklearn.model_selection import train_test_split DATA_ROOT = Path("datasets") def load_dataset(name: str, test_size: float = 0.2, seed: int = 42): """按约定目录结构加载数据集，自动完成划分""" csv_path = DATA_ROOT / name / "raw.csv" df = pd.read_csv(csv_path) X, y = df.iloc[:, :-1], df.iloc[:, -1] return train_test_split( X, y, test_size=test_size, random_state=seed, stratify=y )

这个函数的设计逻辑是把可变和不可变分开。不可变的是目录约定和文件命名，可变的是 test_size 和 seed。每次调用只需要改数据集名字，返回的四元组直接喂给模型。验证这个模块是否可用的自测脚本也很简单：对每个内置数据集跑一次完整训练流程，记录准确率基线，之后每次改动 loader 就跑一遍回归，基线没变说明逻辑没有破坏。配套数据的价值不在于数据本身有多大，而在于它把前置知识的抽象概念变成了可重复实验的基准线。

我个人的习惯是每个数据集留一份 baseline 结果备忘，记录随机种子、准确率、当时用的模型。后来复习时翻这些记录，比翻笔记更能快速找回当时的上下文。这条路径走通之后，你对机器学习的感知会从“看过概念”变成“亲手跑过”，这两个状态的差距，比想象中大得多。希望帮到你。

本文还有配套的精品资源，点击获取