资料、模型结构、计算资源，如今都比过去容易找到。公开论文里也能看到一张完整流程图：准备数据，启动预训练，再做微调、对齐和评估。沿着箭头看，似乎每一步都有现成工具，剩下的只是把它们接起来。

真正困难的地方，恰好藏在这些箭头里面。

收进来一批文章，哪些值得留下，哪些只是同一份内容的重复？几段文字拼在一起，模型究竟在学前文联系，还是顺便学进了文档之间不存在的关系？训练误差一直下降，是能力在形成，还是越来越熟悉眼前的材料？保存了一个模型文件，机器中断之后，又能不能从原来的位置继续？

这些选择并不只影响训练工程师。它们会一路传到使用者面前，变成模型熟悉什么语言、擅长什么问题、怎样接受指令，以及在哪些时候表现得十分确定，却没有足够依据。

流程完整，只能说明工作被安排过；每一步的选择，才决定模型实际学到了什么。理解大模型训练，不是背下预训练、微调和对齐几个名字，而是看清材料、目标、参数和检查之间怎样相互约束。

下面沿一条常见的文本生成模型路线展开。这里的LLM指大语言模型，以根据前文预测后续文字为主；多模态、扩散等模型可以采用不同结构与目标。各团队的阶段划分也不完全相同，我们把共同机制和具体实现分开讲。

训练真正连接的，是四件事：模型反复遇到什么材料，被要求完成什么预测，计算怎样改变参数，以及什么证据说明这些改变值得保留。部署和用户反馈接在这条链路之后，不能反过来替训练效果作保证。

图1｜作者全景框架：材料流进入参数学习，模型版本可按目标继续适配或进入交付评估。数据质量、任务评估、状态恢复贯穿过程；后训练选项不是固定升级链。依据公开训练机制原创重绘，非官方原图或实际训练记录。

总图中，蓝色追踪材料与样本，金色表示参数计算，绿色表示能力适配与结果，紫色表示评估、状态和交付约束。实线是主要流向，虚线是按目标选择的适配与反馈；它是作者分析框架，不是所有模型都必须走完的一套工序。

01先定目标训练开始前，究竟要做出什么模型？

训练的第一个产物，其实应该是一份能够被检查的目标，而不是一份启动配置。

一个面向中文办公的模型，一个擅长多语言代码的模型，即使参数规模相同，需要反复接触的材料、任务难度和检验方式也会不同。目标还包括能承受多长等待、部署在哪里、可用多少训练预算，以及哪些错误不能接受。没有这些条件，“模型再大一点、数据再多一点”很难成为可执行的决定。

接着要选起点。从随机初始化的参数开始，主要靠大量材料形成通用语言与任务能力，这是从零预训练。已有基础模型继续学习新材料，是继续预训练；已有模型学习特定任务的示范，则属于监督微调等适配方式。它们都可能更新参数，但继承的能力和承担的成本不同。

对于只需要稳定整理工单的团队，从头训练一个基础模型，通常不是必须跨过的门槛。先检查现有模型配合明确任务和资料是否够用，再判断是否值得微调，会更接近业务问题。反过来，如果目标涉及基础能力、语言覆盖或底层结构，才有充分理由讨论更靠前的训练阶段。

这也是为什么参数量不能独自充当计划。参数多，意味着更多可学习数值及相应计算和存储要求；它不保证目标任务自然变好。一次能处理多长的文本、怎样表示文字、接触多少材料，以及使用时的计算成本，同样需要协同安排。

训练前还要留出比较对象：与哪个已有版本比，在哪些任务上比，允许付出多少代价。先说清什么变化值得训练，再决定训练从哪里开始。否则，后来所有曲线都可能向好，却无法回答最初为什么要做这件事。

图2｜作者机制重绘：不同起点继承的能力不同，不能只比较训练步数。。不是实际模型训练记录。

02数据入口原始数据从哪里来，为什么还不能直接使用？

预训练材料可以来自网页、书籍、技术说明、代码、问答等。它们提供不同的表达、知识和结构；收集的工作，是把可用来源转成能够追踪的候选资料，而不是宣布模型已经吸收了这些知识。

网页尤其能说明其中的距离。一份原始页面不只有正文，还包含菜单、广告、推荐列表、脚本和排版。如果提取后留下大量导航文字，训练预算就会被重复的网站外壳消耗；若把代码缩进、表格关系或公式弄坏，保留下来的字符也未必还是原来的意思。

FineWeb的公开工程记录把网页提取、过滤和去重分开研究，并用控制条件的训练比较检查处理选择。它的启发不是给所有语料套同一组过滤阈值，而是提醒我们：从网页拿到文字，本身就包含可能改变数据分布的工程决定。FineWeb数据处理说明

数据入口还要保存来源、获取方式、时间及使用条件。能够访问一段内容，不自动代表可以任意用于训练；个人信息和不必要的敏感内容，也不能因为后面会做安全训练就先不处理。这些检查需要按实际使用场景落实，模型不会替项目完成授权判断。

代码材料应保留语言、文件关系和必要结构；对话材料要区分角色和轮次。把它们全部当成没有来历的长字符串，会失去后面做质量追踪和错误定位的重要线索。原始记录可以受控保存，供检查提取过程，不必全部进入训练。

合成数据则是由模型或程序产生的材料，能补充任务变体、示范和某些稀缺情形。但生成过程也可能复制错误、放大单一风格，或者让问答看起来丰富、实际上只是近似改写。它仍需要来源记录、筛选与验证，不能用“由更强模型生成”替代质量判断。

这一阶段应交出的是有来源和处理记录的候选语料。材料是否足够多还不是终点，接下来要决定哪些进入训练，以及它们会被看见多少次。

03治理与混合清洗、去重、过滤与配比，分别改变什么？

清洗首先处理明显不能正常使用的内容，例如乱码、损坏页面和提取残缺。去重则检查同一内容是否反复出现：完全相同的副本比较容易识别，换了标题、页脚或少量句子的近似副本，需要更细的比较。

重复不是简单的硬盘浪费。相同内容反复进入训练，会改变它在更新中的分量，也可能增加原文记忆和训练测试重叠。去重研究给出了这些问题的实证，但不能推出任何材料删得越多越好；反复出现的通用表达和真正的无效转载，仍需区别。数据去重研究

过滤进一步回答内容是否适合目标：语言对不对，信息是否完整，是否含有应排除的隐私或不安全内容。规则或模型可以协助评分，但短文本、方言、技术符号也可能被误杀。筛选标准也是一种选择偏好，必须靠后续任务检查它的影响。只看最终删掉了多少，不能证明数据质量提高了多少。

留下的资料还需要分配训练机会。为了比较计算实际处理的文本量，可以按切分后的处理单位Token计数；它可能是字、词片段或其他单位，不能固定等同于一个汉字。按文件数与按Token数抽取，得到的混合可能完全不同。材料少的领域被反复抽取，也会承担重复学习的代价。研究中存在先用较小模型寻找数据权重，再组织较大模型训练的方式，但权重仍服务于具体数据和目标。DoReMi数据混合研究

核对一：材料留下了什么，预算又给了谁？

以下六条均为作者编写的教学记录。A是通用材料“周三提交报告。”；B是另一来源转载的完全相同句子；C是代码“total = price * count”；D是数学说明“每组3件，4组共12件。”；E只有损坏标记，无法提取有效正文；F是已经约定留作验证的“13加8等于21”。

按本例规则，保留A、C、D，B只保留重复关系，E剔除，F不进入训练。这里判断的是给定规则，不是宣布这些短句足以训练模型。验证材料若被转载进训练来源，也要识别这种重叠；只把文件夹分开，并不能保证内容独立。

再假设A、C、D按同一分词方案分别有10、30、10个Token。每篇各用一次，共50个Token，通用、代码、数学的占比分别是20%、60%、20%。所谓“三类各一篇”，并不意味着三类接受同等数量的训练。

若计划安排1000个训练Token，目标比例为60%、20%、20%，相应预算应为600、200、200。它说明按什么单位安排采样，不是保证实际每批恰好符合比例，也不是建议用三篇短材料反复凑满预算。

用于调整方案的验证集和最后检查的测试集，还要与训练内容及来源关系一起维护。不能反复依据测试结果修改训练，再把同一份测试成绩当作独立证据。数据治理交出的不只是文件集合，还有版本、混合规则及不能进入训练的边界。

图3｜作者教学材料：保留A/C/D，重复B、损坏E、验证F按给定规则处理。长度10/30/10为假设，不是分词测量；占比和预算已本地复算。

04文字编号文字怎样变成模型能处理的编号？

文字要进入数值计算，先得有一种一致的表示方法。系统把文本切成可以处理的单位，再查出对应编号；这些单位叫Token，切分和编号的工具叫Tokenizer，也就是分词器。一个Token可能是完整词、词的一部分、单字或字节相关单位，不能固定换算成几个汉字。

词表是单位与编号的对应关系。模型随后根据编号取出一组可学习的数值表示，再进入后续计算。编号负责对应，不负责直接表达词义；某个词编号很大，也不意味着它更重要或更复杂。

常见子词方法会在字符或字节等基础单位上，形成可复用的片段。以BPE为例，可以根据训练文本中相邻单位的出现情况，逐步建立合并规则。它让常见组合用较少单位表示，同时保留处理其他组合的路径。具体还有文本规范化、预切分、特殊标记和解码规则，彼此必须配套。分词器处理管线

这里的“训练分词器”，是从语料形成词表或切分规则，不是在优化大语言模型的回答能力。不同语言和代码中的模式不同，切得过碎会增加序列长度；词表更大，又会影响相关参数和计算。选择不能只看一句话能少切几个Token。分词器训练说明

从零训练时，可以评估新分词方案；继续使用已有模型时，通常需要保留它原本理解的编号体系。随意换一个分词器，文字相同，编号对应却可能变了。若扩展词表或改变编码，也要同步处理模型相关参数并验证，不能只替换一个文件。

后面的核对统一使用教学词表：0表示补齐位，2表示文档结束，11、12、13分别表示“今天”“下雨”“。”，14、15表示“明天”“放晴”。因此“今天下雨。”记成11、12、13、2。这是为了让关系看得见，不是任何产品的真实切分结果。

本阶段交出的是可复用的编码规则和编号序列。它解决了“怎么表示”，下一步才决定“模型要从这串编号里学什么”。

图4｜作者机制重绘：编号负责对应；后续表示与计算由模型参数承担。。不是实际模型训练记录。

05训练样本编号怎样组成真正的训练样本？

训练通常按一定长度组织序列。太长的材料可能切成多个窗口，太短的材料可以补齐，或者把多段材料打包进一个窗口。专业上，后者常叫样本拼接或Packing，目的是减少空位置浪费，但它也改变了材料之间的相邻关系。

补齐位只是为了让计算形状便于组织，不应因为占了位置就被当成有意义的文字。过长文本如果直接截断，可能把题目和关键条件分开；多轮对话若截掉角色或结尾，也可能改变训练意图。样本长度是一项内容选择，不只是设备参数。

核对二：拼进同一行，究竟能看到什么？

第一篇“今天下雨。”是11、12、13、2，第二篇“明天放晴。”是14、15、13、2。拼成长度8的窗口后，输入是11、12、13、2、14、15、13、2。

如果它是一条普通的连续因果序列，可形成七个相邻预测对：11→12、12→13、13→2、2→14、14→15、15→13、13→2。最后一个输入没有窗口内的后续目标，本例不评分。模型在每个位置只能使用允许的前文，不能看到该位置之后的目标。因果语言建模

这里有两个不同的问题：后半篇能否参考前半篇；是否要求前半篇的结束位置预测后半篇开头。若希望两篇独立，可以限制跨文档的注意范围，并将2→14这个跨边界目标排除评分，留下六个预测位置。只加一个结束标记，并不会自动完成这两件事。

预测与目标的差异可以汇成一个可计算的评价值，称为损失。“可以看到哪些输入”的规则，通常通过注意力遮罩表达；“哪些预测参与评价”的规则，则通过损失遮罩等方式落实。它们作用不同：一个位置可以作为后文的输入背景，但不一定需要在该位置计入损失。文档边界还可能与位置编号策略共同设计。

整理好的序列由数据管线读取、打乱、分组并送入计算，负责这些工作的组件常称为DataLoader。它不替模型学习，却决定设备是否及时拿到数据，以及同一材料是否被意外跳过或反复读取。分布式训练还需协调各副本的数据范围。

至此，训练样本不再只是一串编号，而是内容、目标、可见范围和评分位置的组合。SmolLM3公开说明使用了文档内注意范围限制，说明这是一项需要实际实现的设计，而不是拼接的天然属性。SmolLM3训练结构说明

图5｜与正文相同的8位置教学例：连续序列7个相邻目标，独立文档方案另排除跨边界目标后为6个。矩阵示意的是可见范围，0/1栏表示评分开关；均已逐位置复算。

06准备计算训练准备，到底准备哪些东西？

样本已经能进入计算，模型本身也要有确定的结构。常见文本生成模型会把输入编号转成表示，在多层计算中结合前文，再为下一个Token产生候选分配。层数、表示宽度和相关模块，决定有哪些可学习参数，也影响一次计算的资源需求。

从零开始的参数通常按既定方法初始化；继续训练则加载已有参数。两者即使后续程序相同，也不处于相同起跑线。密集结构通常让相应层的大部分参数参与处理；MoE会通过路由选择部分专家参与，但还要处理路由、负载和通信。总参数数与每个Token实际参与的参数，不能混成一个规模指标。

随后要确定更新规则。计算把预测偏差转成各参数调整方向的局部信息，称为梯度；优化器利用这些信息及可能保留的历史状态更新参数。学习率控制更新的尺度，调度策略安排它随训练进度怎样变化。先逐渐升高、在后期降低，是公开配方中的常见设计之一，具体方式仍需目标和实验支持，不能照搬一个数。

批次回答多少样本共同影响一次更新。一次放不下时，可以分几次算梯度、先累积，再执行更新，这叫梯度累积。它改变数据进入更新的组织方式，并不等于凭空增加设备内存，也不保证与任何一次性大批次运行逐位相同。

核对三：这次更新，到底用了多少材料？

沿用上一节的独立文档拼接方案：每条序列有8个有效输入Token、6个评分位置。假设用同样模型的两份副本分别处理不同材料，再合并调整信息，这就是数据并行。每份每次处理2条序列，累积4次后更新一次。总计是2×2×4＝16条序列，处理128个有效输入Token，损失覆盖96个预测位置。

这里的“两份副本”是数据并行数量，不是任意训练布局下的显卡总数；模型拆到更多卡上，也不能重复乘一遍材料。真实批次若含补齐或不同长度，两个Token计数还会变化。比较训练预算、吞吐和平均损失前，必须先对齐计数口径。

显存也要分开算：权重是当前参数，梯度记录调整信息，优化器可能保存额外状态，前向中间结果用于反向计算，另有工作区与通信缓冲。只算权重文件大小，就像只数机器里的零件，不数运行时还要腾出的空间；它不能给出训练峰值内存保证。

准备完成时应留下模型、数据和训练配置的共同版本，并先用短程试跑检查样本、数值和保存路径。正式长跑中才发现目标错位，浪费的不是几行日志，而是已经消耗的计算预算。

图6｜作者机制重绘：副本、微批次和累积次数，决定一次更新接触多少材料。。不是实际模型训练记录。

07参数更新一次预训练更新，内部发生了什么？

把一批样本送入模型，第一步是按当前参数计算候选，这叫前向计算。例如模型看到“今天”，需要为后续各个Token分配概率；材料里的“下雨”是该位置的目标，用来评价预测，而不是提前作为这个位置可见的答案。

一种常见评价方式，是看目标Token被分到了多少概率。分得太少，损失更大；分得更多，损失更小。多个有效位置再按约定方式汇总，得到当前训练目标。这里的概率是在候选之间的分配，不是整句事实正确的概率。

反向计算继续追踪：各个参数的微小变化，会怎样影响这个损失。得到的局部变化信息叫梯度。优化器按规则利用它们，通常朝降低当前目标的方向调整数值；带动量或其他历史状态的优化器，还会结合之前的更新信息。下一批再用更新后的参数计算。

多副本训练要协调对应梯度，累积时也要正确处理权重。如果各样本有效评分位置不同，却不加区分地平均每个小批次的均值，就可能给短样本和长样本不一样的隐含分量。更新的数学目标，需要和前面承诺的评分口径一致。

在常见因果语言训练中，许多位置可以并行评价，因为每个位置都能使用材料中允许的正确前文。实际生成则会把自己选出的Token继续接回输入。某次选错会影响后面的上下文，因此，单步预测误差与完整回答质量并不是同一项成绩。

看似只预测下一个Token，为什么能产生广泛能力？因为大量不同材料对同一组参数持续提出要求：要预测对后文，模型往往需要利用语法、实体关系、程序结构和上下文规律。但训练目标本身不保证真实、最新或始终遵守用户意图，部分原文也可能被记住。

经过多少次更新、每次处理多少Token，才共同形成训练接触量。同一小批材料循环很多次，计数可以继续增大，信息来源却没有同等丰富。训练交付的能力，来自材料与计算共同塑造的参数，而不是更新次数这个数字单独创造出来。

数据决定模型反复遇到什么，目标决定哪些预测受到评价，优化器把评价转成参数变化。计算资源让这个过程扩大，却不能替任何一个环节决定什么才是好材料或好回答。

图7｜作者机制重绘：目标用来评价当前预测，不提前成为该位置可见的答案。。不是实际模型训练记录。

08规模计算为什么需要多张卡，还要改变计算精度？

模型和材料扩大以后，限制不只有“算得不够快”。一份模型及其训练状态可能放不进单张卡；设备之间又需要交换信息。怎样拆计算，取决于瓶颈在哪里，而不是显卡数量越多就必然越划算。

数据并行让多份模型副本处理不同材料，再同步相应梯度，使它们朝共同的更新前进。它主要增加材料处理能力，但普通副本式方案仍需各自容纳相应模型状态。分片方案可以进一步分担参数、梯度或优化器状态，也会带来通信和组织成本。PyTorch数据并行说明

模型本身放不下时，可以把一次层内的大计算拆开，让多张卡共同完成，这类方式称为张量并行；也可以把前后不同层交给不同设备，分阶段传递结果，称为流水线并行。前者频繁交换部分计算结果，后者要安排批次穿过各段，避免某些设备一直等待。张量并行、流水线并行

这些方法可以组合，但代价不会消失：通信网络、数据供给、保存速度或一个过慢的阶段，都可能限制整体。看单卡利用率或峰值算力，无法直接推断整次训练的有效产出。比较方案时应看相同目标下的进度、稳定性和总成本。

计算还可以在不同位置使用不同数值精度。混合精度让适合的运算使用较低精度，并为敏感计算保留适当精度，以平衡资源与数值要求。FP16、BF16等格式的范围和精度不同，处理策略也不能混用；有些配置需要对损失或梯度做缩放，不能假定所有低精度训练都靠同一种补救。混合精度说明

梯度过大时，裁剪可以限制用于更新的梯度幅度；它不能修复错位目标、脏数据或所有数值故障。训练中的低精度计算，也不等于把最终权重存成低比特的部署量化。节省资源的办法，应当连同它影响的计算和误差一起解释。

图8｜作者机制重绘：先看瓶颈，再选择计算拆分和数值表示。。不是实际模型训练记录。

09监控与恢复训练跑起来以后，怎样知道它没跑偏？

训练损失在说模型对当前训练材料的预测是否更符合目标，验证损失则用未参与该次参数学习的材料检查变化。训练曲线改善、验证表现恶化，可能提示过度适应等问题；两条曲线同时下降，也不能替代后面真实任务的检验。

曲线还依赖数据条件。忽然切换到更难的材料，损失可能上升；评分位置、混合比例或统计方式改了，也可能造成不连续。排查时应先对齐版本和口径，不能看见一个波动就宣布训练失败，或换一张坐标图宣布训练成功。

监控还应包括处理了多少有效材料、设备在等待什么、是否出现无效数值，以及数据是否重复或缺失。梯度异常、数据读取故障和通信停滞，最后都可能表现为进度不正常，却需要不同处理。记录要让人回到对应批次和配置，不能只留一个总分。

长训练需要定期保存可恢复的状态，这类保存点叫检查点。权重回答“模型现在是什么”，优化器状态、调度进度、已处理位置及必要的随机和数据状态，则帮助回答“训练刚才做到哪里”。只拿到权重，通常可以继续做推理或另起训练，却不等于恢复了原来的更新过程。模型与训练状态保存

多设备保存还涉及分片是否完整、文件能否一致加载，以及恢复时设备布局和数据读取方式是否兼容。应实际做过一次恢复检查：核对版本、步数、数据进度与接下来几次运行是否合理，而不是只确认目录里有文件。分布式检查点

保存频率是计算与风险之间的取舍：太少，故障后损失的进度更多；太频繁，写盘和协调可能拖慢训练。跨软件、硬件或并行布局恢复也不天然逐位一致。要保住的首先是可解释的训练连续性，若要求精确复现，还需要另行验证条件。

图9｜作者机制重绘：曲线变化、运行故障和保存状态，需要分别核对。。不是实际模型训练记录。

10继续适配预训练结束后，为什么还可能继续训练？

达到某个训练预算，得到的是一个具有相应能力的模型版本，而不是自动合格的聊天产品。基础模型可以续写、补全和处理任务，但具体能力如何，仍需用适合的输入和评估检查；不能因为它还没学会聊天界面里的格式，就把所有基础能力都判为不存在。

有些项目会继续让模型接触特定领域的文本。目标是适应新的分布、语言或任务材料，这仍需要检查通用能力是否退化。不断增加某类材料，并不保证只增加这类能力而不影响其他行为；数据混合和学习率选择会重新成为问题。

长上下文适配则不仅是把配置中的长度写大。模型需要相应的位置处理、足够长且有意义的材料，以及能够发现远距离使用失败的测试。装得进长输入，不代表它能稳定找到并使用其中每一条信息。

SmolLM3公开把部分长上下文和推理适配称为中期训练，放在主要预训练之后。这提供了一条可观察的具体路线，而不是证明所有模型都有同名阶段。不同目标也可能把相关训练组织在其他位置。SmolLM3中期训练

Llama 3报告也展示了预训练后段调整和长上下文训练的设计，说明数据与训练安排可以分阶段变化。读技术报告时，要追问它继承了哪个版本、换了什么材料、保留哪些能力，而不是只数比另一个模型多了几个阶段。Llama 3训练配方

继续训练的出口，仍然是一个有明确来源、配置和能力证据的新版本。它可以再进入助手行为适配，也可以服务于其他应用；“继续”本身不是质量等级。

图10｜作者机制重绘：继续预训练、长上下文和行为适配，不是同一个目标。。不是实际模型训练记录。

11示范训练会续写，怎样变成会按要求回答？

预训练材料里有很多形式，但产品希望模型在用户提问后做出特定回应：遵守格式、完成任务、保留未知，必要时拒绝。这时可以提供输入与期望回答的示范，让模型学习这种条件下怎样继续生成。这就是监督微调，通常简称SFT。

关键材料不是孤立的好句子，而是问题、背景和回答之间的对应。示范若总是信息齐全、总能给确定答案，模型就很少有机会学到补问和保留未知。人工编写或模型辅助生成的示范，都需要检查事实、适用条件、多样性和错误模式。

对话还必须转换为模型实际处理的序列。区分系统要求、用户消息、助手回答以及工具返回的标记和排列规则，称为对话模板。它不是界面皮肤：角色顺序、消息结束与整段生成结束的约定若不配套，模型收到的任务就可能与训练时不同。

训练时可以只对助手回答位置计算损失，也可以按目标选择其他范围。把用户位置排除评分，不代表这些文字不进入计算，或相关参数全部冻结；它们仍是助手回答的条件。这里要与上一节的“能看见什么”再次区分。TRL监督微调机制

核对四：同一条事实，怎样变成三种训练材料？

原始文本是“会议周三上午10点开始。”。作为预训练材料，它可以产生前文到后续文字的预测；它本身没有指定一个产品任务。

作为示范材料，用户要求“按‘时间；地点’格式整理这条通知”，助手示范回答“周三10:00；地点未提供。”。模型学习的是在给定要求和通知后怎样回答，而不是凭空学会查询会议室。

作为偏好材料，问题不变，候选甲是“周三10:00；地点未提供。”，候选乙是“周三10:00；三楼会议室。”。若评价规则要求忠实于通知，甲更合适，因为乙补造了地点；这个选择提供比较关系，不等于提供了另一个模型已确认的事实。

同一条文字，可以产生不同训练任务，区别在于让模型预测什么、怎样评价。更换材料格式之前，必须说清新格式到底新增了哪项监督信息。

更新哪些参数又是另一层选择：全参数微调调整所选模型的全部可训练权重；LoRA冻结基础权重，通过两组较小的可训练数值组合出权重变化，影响原有计算。它们可以服务同一类示范目标，不是SFT之后又多出一个能力阶段。增量更小，也仍需检查任务收益和旧能力退化。

图11｜作者机制重绘：模板把角色与边界变成模型实际处理的序列。。不是实际模型训练记录。

12偏好与奖励示范之后，偏好、安全与推理怎样训练？

示范告诉模型一种期望回答，偏好比较则告诉训练过程：同一道题的两个回答，哪一个按当前标准更值得学习。偏好可以涉及有用、清楚、事实忠实或安全，但标注标准必须说明；两种回答都合理时，也应允许分歧，而不是硬制造优劣。

一种做法先收集人的比较，再训练一个能预测这些偏好的奖励模型；回答模型生成候选，训练算法根据奖励及约束更新它。这是人类反馈强化学习，也就是RLHF的一条典型路线。奖励模型是学出来的评价器，可能判断错误；约束用于限制更新偏离参考行为过远，也不保证所有能力都不退化。InstructGPT原始路线

另一种做法从成对偏好直接构造更新目标，称为直接偏好优化，即DPO。它在典型形式中比较可训练模型与固定参考模型对两种回答的相对分配，不需要单独训练显式奖励模型再运行同样的强化学习循环。它仍依赖偏好质量，也不能理解为“把好答案概率无限推高”或自动拥有真实性判断。DPO原论文

评价还可以由AI在明确原则下辅助提供，通常归入AI反馈的路线。人评、AI评和规则验证，首先回答的是反馈从哪里来；DPO或强化学习更新，则回答怎样使用反馈。它们不属于同一层级，不能画成几个名称依次升级。AI反馈研究

对于数学、代码等可核对任务，可以让模型产生多种解法，通过答案检查或执行测试得到奖励，再形成更新信号。还可以利用同题候选间的相对反馈组织优化，GRPO就是相关方法之一；完整过程仍有采样、目标与更新约束。DeepSeek-R1公开路线包含冷启动、推理强化学习、筛选与监督训练等安排；R1-Zero又采用不同起点，不能合并成所有推理模型的必经流程。R1初版训练说明

奖励规则若只看最终数字，可能漏掉错误理由；只奖励格式，也可能学到“长得像正确答案”。安全训练同样要兼顾该拒绝与不该拒绝的情形，不能用拒绝越多表示越安全。训练会利用评价提供的信号，评价本身也要接受检查。

工具能力则需要模型学会在适当条件下产生调用意图、参数及后续回答，材料可以包含工具定义、调用和返回。真正执行动作的是外部程序，权限必须在执行边界落实。调用格式学得更好，不会使模型自动获得授权；安全与工具使用也不是两道做完就永久解决的关卡。

图12｜依据InstructGPT和DPO原论文重绘典型角色；推理任务仅示意可验证反馈的使用。省略目标函数、采样细节与具体优化实现，不把RLAIF等反馈来源当作独立更新算法。

13能力验收怎样判断模型值得交付，而不只是训练分数好看？

走到这里，模型可能更会续写、更符合示范，或更受某种评价偏好。我们仍然需要回答：对最终使用者，它在哪些任务上变好，又付出了什么代价？训练目标和使用目标之间的距离，要由评估检查，而不是靠一个总分掩盖。

通用测试帮助观察知识、语言、代码或推理等能力；目标任务则检查本次项目真正要接走的工作。答案正确、遵守指令、证据忠实、补问恰当，是不同维度。对比原模型时，应同时呈现收益、没有改善和退化的部分，而不是只换上新版本表现最好的题。

测试集需要独立，公开题目也要考虑是否进入过训练或调试材料。模型反复看过题目，分数就不能完整说明面对新问题的能力。评估提示、生成设置、工具条件、尝试次数及评分规则也要记录；挑多次运行中最好的一次，不能冒充单次任务表现。

人工评价适合补充自动评分覆盖不了的方面，但要给评价者明确标准和相同条件，必要时保留分歧。安全测试既检查危险请求，也检查正常请求是否被错误拒绝；XSTest专门把过度拒答作为可检查问题，而不是把它算成安全收益。过度拒答评估

评估不只是给最终模型打分，也参与决定前面哪些做法值得继续。数据过滤、配比和结构变更可以先做小规模对照；训练中途回看任务变化；后训练检查行为与能力的取舍；发布前再做独立验收。这些检查服务不同决定，不能全部挤到流程最后。

成本也需要同一口径：训练资源、等待、推理消耗和人工补救，不能与质量分开看。一个更难运行、但只在少数题上略有改善的版本，是否值得交付，要回到最初目标。小规模代理实验能提供方向，却不能跳过最终规模和任务条件的核验。

图13｜作者机制重绘：不同阶段的检查，服务于不同的取舍。。不是实际模型训练记录。

14交付与反馈从训练产物到实际服务，还差什么？

训练完成后交出去的，不只是一个权重文件。结构配置、分词器、特殊标记、对话模板、增量权重及兼容说明，需要与模型版本配套；训练来源、能力范围和已知限制，也应有可以追溯的记录。少了这些信息，同一组权重也可能被错误使用。

推理阶段通常加载这些产物，用既定权重处理输入并生成结果，不在每次对话后自动更新。应用可以再提供资料、记忆和工具，但那是本次可用信息与执行能力的组织，不应被误认为底层模型现场完成了新一轮训练。

部署时可以考虑权重低比特保存、适配硬件的计算实现、请求批处理与生成缓存等优化。权重量化能降低相应存储需求，却不代表总内存、延迟和质量按同样比例变化；长上下文、并发请求和运行缓存仍会占资源。优化后应重新检查实际任务，而不是只看文件缩小了多少。

模型训练中的安全行为，也不能代替应用鉴权、数据范围和动作确认。一个能正确写出工具参数的模型，仍需要程序判断该用户能否执行；模型说“已经处理”，也不证明外部操作成功。可用模型与可靠应用之间，还有一段需要单独验收的工程工作。

线上反馈可以补充离线测试未覆盖的问题，但应先区分原因：是模型能力、过期资料、错误工具返回，还是产品要求本身不清楚？错例经过必要的隐私处理、事实确认和权限检查后，才能决定进入评估、修正材料或下一轮训练。点赞、投诉或模型自己的解释，都不能直接充当正确标签。

值得交付的模型，应当把学到的能力、适用条件和验证证据一起交出来；值得保留的反馈，则应能说明它揭示了哪个缺口。只有经过筛选、训练或其他修正、离线核验与受控发布，反馈才真正形成改进闭环。

图14｜作者机制重绘：模型产物、运行服务和应用责任分别验收。。不是实际模型训练记录。

回到总图：每一步都在改变下一步的条件

现在再看开头的流程，箭头不再只是“接下来做什么”。资料怎样提取，决定治理能看到什么；切分怎样编号，决定样本如何组成；目标和遮罩怎样设置，决定参数为什么受到调整；后训练怎样评价，决定哪些行为得到更多训练信号。

模型最终表现，是这些选择长期累积的结果。数据、目标、计算与评估不能互相替代：更贵的计算补不回缺失材料，更精致的示范不能保证奖励永远可靠，一份漂亮的评测也无法替应用完成授权和结果核对。

三个可以带走的判断：追踪每阶段真正交出的产物；把能力目标、更新方式和反馈来源分开；每次重要改动，都同时检查它改善了什么、损失了什么，以及证据适用于哪些条件。

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】