简介：C-EVAL 是首个面向中文语境的多层次、跨学科基础模型评估套件，专为自然语言处理与大模型评测方向的研究人员和技术从业者设计，用于系统考察模型在中文环境下的高级知识与推理能力。套件按中学、高中、大学、专业四个难度层级组织，覆盖人文到理工共52个学科，并附有高难子集 C-EVAL HARD，可帮助读者分析各类中英文模型在中文场景中的优势与短板。资源包共1个文件，为PDF格式论文，大小约4.89MB，完整呈现数据集构建方法、评测设计与实验结果，其中指出仅GPT-4平均准确率超过60%，说明现有模型仍有较大提升空间。目前已有76人学习，适合需要了解中文基准设计思路、复现评测流程或为模型改进寻找参照的读者研读。

1. 中文评测的错位：为什么翻译过来的英文基准测不准中文模型

一个模型在英文基准上刷到 90 分，换成中文同类题目却掉到 60 分出头，这种落差不是玄学，而是评测本身错位了。多数中文模型团队早期都踩过同一个坑：拿英文基准机翻成中文，题目语法通顺、选项齐全，跑出来的分数却和真实用户体验对不上。原因很直接——语言不只是符号系统，它背后挂着一整套知识分布。一个面向中文用户的基础模型，需要知道的是中国法律体系怎么划分、中学化学的解题惯例是什么、职业资格考试考哪些内容，而不是英文世界里那套地理与文化默认值。C-EVAL 要解决的就是这个错位：它用 13948 道四选一题目、覆盖 52 个学科、横跨中学到专业四个难度层级，把「中文语境下的高级知识与推理」拆成可量化、可复现的分数。搞懂它的构造逻辑，你才能判断一个中文模型的分数到底意味着什么，而不是被排行榜上的数字牵着走。

2. 难度分层与学科矩阵：评测套件为什么按考试体系切分

2.1 四个难度层级背后的能力假设

C-EVAL 把题目按中学、高中、大学、专业四个层级组织，这个切分不是随手分的，它对应一条能力递增曲线。中学层级考的是常识性知识与基础推理，高中层级开始引入多步推导，大学层级要求领域内的结构化知识，专业层级则直接对标职业资格考试——比如医师资格、法律职业资格、注册工程师这类。层级越高，题目对「记忆 + 推理」的复合要求越强。

从统计上看，中学 7 个学科 1409 题，高中 8 个学科 1594 题，大学 25 个学科 6249 题，专业 12 个学科 4696 题。大学层级占比最大，接近一半，这说明套件的重心放在「高级知识」而非基础语言能力上。这个设计动机很明确：基础语言能力在今天的模型上已经趋于饱和，真正拉开差距的是复杂任务。常见的实现思路是，用难度分层让开发者能定位模型的能力断点——如果中学题正确率很高但大学题断崖式下跌，问题多半出在领域知识覆盖，而不是语言理解。

2.2 52 个学科如何映射到四大类别

52 个学科被聚成 STEM、人文、社会科学、其他四大类，分别对应 20、11、10、11 个学科。这个映射的价值在于横向诊断：一个模型在 STEM 上强、在人文上弱，往往反映预训练语料的分布偏斜。学科选择也有讲究——大学层级从官方本科专业目录的 13 个门类里每类至少选一个代表学科，保证覆盖面；专业层级参照职业资格目录挑代表性考试。换句话说，这套学科矩阵不是拍脑袋凑数，而是尽量让「中文语境下的知识版图」被均匀采样。

提示：做模型诊断时，不要只看总平均分。按四大类别拆开看，往往能发现总分会掩盖的结构性短板。

2.3 为什么只选四选一题型

只保留四选一格式，是一个刻意的取舍。第一，指标定义干净——准确率就是准确率，不需要处理生成式评测里那些评分口径的争议。第二，四选一题目是高级能力的低成本代理：模型要答对，必须同时完成知识检索和选项辨析，这两步恰好是下游指令微调最容易被放大的能力。代价是它测不了开放式生成质量，但对「知识与推理」这个目标来说，四选一的信噪比足够高。每道题强制四个选项，原始题目选项不足四个的直接剔除，多于四个的随机丢弃错误选项，保证格式统一。

3. 数据污染这道坎：题目从哪来、怎么防泄漏

3.1 数据来源的刻意选择

评测套件最怕的不是题目难，而是题目「见过」。高考真题、国家级职业资格考试题在网上流传极广，极容易被爬进预训练语料，模型等于开卷考试。C-EVAL 的对策是从源头规避：主要采集模拟卷和小规模地方考试题，而不是官方统考原题。大学层级有一部分来自高校学生公开分享的期末题，还有约 2000 道来自某考研资料站点、经授权收录的模拟题。这个选择让数据分布偏离「网上最易获取的那批题」，从而降低泄漏概率。

3.2 从 PDF 到结构化题目的解析链路

原始数据大多是 PDF 或 Word 文档，少量是网页。处理链路大致是：PDF 先转文本，然后尽可能自动解析成结构化格式，解析不了的由人工标注补齐。STEM 学科里大量数学符号，需要手工转成标准 LaTeX 格式，并保证语法无错。这条链路本身就是一道防泄漏屏障——从 PDF 里解析出来的题目，和网上纯文本流传的版本在形态上不同，被预训练语料原样命中的概率更低。

# 题目结构化后的典型字段（示意，非官方源码） item = { "id": 1234, # 全局唯一编号 "question": "25℃时，将pH=2的强酸溶液与pH=13的强碱溶液混合……", "options": ["A. 11:1", "B. 9:1", "C. 1:11", "D. 1:9"], "answer": "B", # 唯一正确选项 "subject": "high_school_chemistry", "level": "high_school", # middle/high/college/professional "category": "STEM", # STEM/Humanities/SocialScience/Other "explanation": "pH=13的强碱溶液中 c(OH-)=0.1mol/L……" # 仅 dev 集带解析 }

这段结构里，level和category两个字段是后续分组统计的抓手，explanation只在开发集出现，用于少样本思维链评测。字段设计直接决定了评测脚本能做什么样的切片分析——这也是为什么评测套件的价值一半在题目、一半在元数据。

3.3 开发集、验证集、测试集的切分逻辑

每个学科至少处理约 200 道题，然后按学科内部随机切分：开发集 5 道带解析的示例题，用于少样本评测；验证集与测试集按 1:9 划分，验证集供调参，测试集才是最终分数来源。开发集那 5 道示例题同时带标准答案和逐步解析，是为了支撑少样本思维链（few-shot CoT）设置——给模型看几道「怎么一步步推」的样例，再让它答新题。这个切分方式保证了同一学科内的题目不会跨集合重复，也保证了少样本示例和测试题同分布。

4. 思维链解析数据：少样本推理评测怎么造出来

4.1 自动生成加人工校验的混合流程

思维链评测的关键是「示例解析」的质量。C-EVAL 的做法是先用强模型对开发集题目的正确答案生成逐步解析，再由人工校验修正。这个混合流程的动机是成本与质量的平衡：纯人工写解析太贵，纯自动生成又容易在数学、化学这类学科上出现推导错误。自动生成负责铺量，人工校验负责兜底，最终产出高质量的少样本示例。

4.2 少样本 CoT 的评测时序

一次少样本思维链评测的时序大致如下：先从开发集取该学科的 5 道带解析示例，拼成提示前缀；再拼接待测题目；模型输出推理过程和最终选项；评测脚本从输出里抽取选项字母与标准答案比对。这个流程里有两个容易翻车的点——示例的解析格式必须和待测题目的期望输出格式一致，否则模型会模仿错格式；选项抽取必须能处理模型输出里夹带的解释文字，不能简单取第一个字母。

def build_few_shot_prompt(dev_items, test_item, k=5): """拼接少样本思维链提示：k 个带解析示例 + 1 道待测题""" parts = [] for d in dev_items[:k]: parts.append(f"题目：{d['question']}\n选项：{' '.join(d['options'])}") parts.append(f"解析：{d['explanation']}\n答案：{d['answer']}") parts.append(f"题目：{test_item['question']}\n选项：{' '.join(test_item['options'])}") parts.append("解析：") return "\n".join(parts)

k控制示例数量，示例越多上下文越长，对模型的上下文窗口是压力测试；explanation字段缺失时该示例退化为仅答案示例，评测设置也随之从 CoT 降级为 answer-only。这个函数看着简单，但它决定了「少样本」和「零样本」两种设置能不能公平对比——两种设置下提示模板必须只差示例部分，其余完全一致。

4.3 answer-only 与 CoT 两种设置的差异

同一批模型在两种设置下的分数差异，本身就是有价值的信息。answer-only 直接让模型给选项，考验的是知识检索的即时性；CoT 让模型先写推理再给答案，考验的是多步推导能力。实践中常见的情况是：知识型题目两种设置差距不大，推理型题目 CoT 明显更高。如果某个模型 CoT 反而更低，往往说明它的指令跟随有问题——它没按示例格式输出，或者推理过程把正确答案带偏了。

5. 评测避坑：分数对不上时先查这几处

5.1 现象：同一模型两次跑分差好几个点

原因通常是提示模板不一致。少样本示例的拼接顺序、分隔符、是否带解析，任何一处变动都会改变模型输出分布。解决方式是固定模板版本，把模板哈希写进评测记录，复现时先比对哈希。

5.2 现象：模型输出格式五花八门，选项抽取失败率高

原因是抽取逻辑太脆弱，只认「答案：X」这一种格式。模型可能输出「选 B」「B 选项正确」「最终答案是 (B)」。解决方式是写多模式正则匹配，并在抽取失败时记录原始输出，人工抽查失败样本，而不是静默丢弃——静默丢弃会系统性高估或低估分数。

5.3 现象：某学科分数异常高，怀疑数据泄漏

原因是该学科题目可能来自网上流传的统考原题，被预训练语料覆盖。排查方式是拿该学科题目去模型做逐字续写测试，看它能否在只给题干时复现选项顺序。如果复现率异常高，这个学科的分数就要打问号。

5.4 现象：验证集调完参，测试集分数反而降

原因是验证集太小（每学科仅约十分之一），调参过拟合到验证集噪声上。解决方式是调参时跨学科聚合看趋势，不要盯着单个学科的验证集分数做决策。

5.5 现象：CoT 设置下分数低于 answer-only

先查示例解析格式是否和待测题期望格式一致，再查模型是否在推理中途改答案。有些模型会先写对推理、最后选错选项，这类样本要单独统计，它反映的是输出对齐问题而非知识问题。

6. 从总分到能力画像：评测套件的设计取舍

C-EVAL 最值得琢磨的取舍，是它把「评测」做成了「套件」而不是「单一榜单」。52 个学科、四个难度、四大类别，这些维度组合起来能切出上百个分数切片，开发者可以按需取子集评估特定能力。这个设计的代价是评测成本上升——全量跑一遍要处理上万道题，少样本 CoT 设置下上下文长度还会放大推理开销。但换来的是诊断深度：总分只告诉你模型行不行，切片才告诉你哪里不行。

另一个取舍在防污染和规模之间。刻意避开统考原题、从 PDF 解析、人工转 LaTeX，这些动作都让数据构建更慢更贵，但换来了分数的可信度。我一般会这么理解：评测套件的护城河不在题目数量，而在「这批题没被模型提前见过」这件事本身。一旦泄漏，再多的题也只是在测记忆。

还有一个容易被忽略的点是 C-EVAL HARD 这个子集的存在。它从套件里挑出推理要求最高的学科单独成集，强模型在这个子集上也只有五成出头的准确率。这个子集的价值在于给「接近天花板」的模型留出区分度——当总分都挤在 60 到 70 之间时，难题子集才能拉开差距。

验证一个评测套件是否可信，我习惯做三件事：抽查题目和解析是否自洽、检查测试集是否和开发集有重叠、用两个能力已知有差距的模型跑一遍看排序是否符合预期。这三步走完，分数才有讨论的基础。从那以后我每次看中文模型榜单，都会先翻它的评测配置和防污染说明，再决定信几分。希望帮到你。

本文还有配套的精品资源，点击获取