生成式AI不是单一市场:技术栈分层与智能体落地指南

发布时间:2026/10/28 13:21:12
生成式AI不是单一市场:技术栈分层与智能体落地指南

简介:这份Gartner于2024年11月发布的《生成式人工智能技术创新指南》英文原版报告,面向技术领导者、架构师与企业AI战略规划者,帮助其厘清GenAI在企业技术栈中的渗透路径与供应商竞争格局。报告强调GenAI本身并非一个独立市场,而是贯穿底层基础设施、开发工具直至终端应用的各个层次,传统DSML、CRM、ERP平台也在加速集成相关能力。压缩包内为1个PDF文件,约1.28MB、35页,包含关键发现、行动建议与新兴市场象限等章节,便于离线阅读与团队传阅,目前已有56人学习下载。读者可从中获取GenAI项目从探索试点走向生产落地的趋势判断、基础模型与大型语言模型生态占据主要投资的市场分析,以及AI代理技术连接软件工程、催生第二波创新的观察;报告还给出降低试点技术债、与生成模型保持松耦合选型、提前建设语义数据层等可操作建议,并提示负责任AI与第一方IP保护等治理要点,适合作为企业制定GenAI架构与采购策略时的参考底稿。

1. 一句反直觉的话:生成式 AI 本身并不是一个市场

这份《生成式人工智能技术创新指南》在市场定义的第一行写了一句很别扭的话:生成式人工智能(GenAI)本身并不是一个市场,它渗透进整个技术栈和大多数垂直领域。多数人第一次读会卡住——满屏都是融资、榜单、新品发布,怎么会"不是市场"?但这恰恰是整份文档的地基。因为一旦你把 GenAI 当成一个可以单独立项询价的品类,你很快就会在客户管理、企业资源计划、数据科学平台和办公套件里买到四份功能重叠的"AI 助手",然后花更多时间去解释它们为什么互相不知道对方存在。真正值得搞懂的不是有哪些供应商,而是这套技术按什么层次被切分、每一层的买方逻辑为什么完全不同。搞清分层,选型和架构才不会反复出错。

2. 渗透而非割裂:GenAI 的定义为什么决定了采购选择

2.1 "派生版本"四个字,藏着溯源与接地的全部理由

指南给出的定义是:GenAI 是"通过学习大量原始来源内容库,生成内容、策略、设计和方法的新的派生版本"的技术。注意"派生"这个词,它不是修辞。派生意味着输出和来源之间存在谱系关系,输出不是凭空的,它站在训练语料和上下文之上。这一条直接推出三个工程结论。

第一,训练数据来源(provenance)不是法务补丁,而是架构属性。既然输出是派生的,那么"这段内容从哪来"就必须能被回答,否则后面的责任界定、知识产权风险、监管合规全都无从落地。指南专门提醒买方去核查解决方案的内容训练来源,理由正在这里。

第二,派生意味着可约束。输出的空间可以被上下文收窄,这就是指南反复强调的"接地(grounding)"——把企业的内容、数据、规则与启发式、语料、数字孪生模型、知识图谱作为提示和接地输入,让模型的行为落在事实空间里,而不是靠提示词反复调整。

第三,派生也意味着同源污染。一条错误数据被检索进上下文之后,会被不同用户、不同任务反复放大。这解释了为什么指南把"如果你还没有为业务建立语义数据层,现在就开始"写得如此直接——语义层的建设周期远长于模型换代周期。

指南同时点出三个受冲击面:内容的发现、创作、真实性与监管;人类工作的自动化;客户与员工体验。三个词分别对应数据治理、流程重构和交互重写,不是同一件事。

2.2 三种使用模式:改界面、改知识供给、改执行路径

指南把企业侧的颠覆归纳到"使用模式"上,而不是按生成模态(文本、图像、视频、代码、设计、三维模型)来分类。我认为这个选择很关键,因为模态只是接口形态,使用模式才决定你要还哪一种债。

第一类是把生成能力嵌进既有产品界面。办公套件、协作平台、企业应用里直接长出助手,用户还是在原来的窗口里干活。这类改造不动流程,只动交互,技术债务最低,但天花板也最低——它加速的是"打字"和"排版",不是决策。采购决策通常落在 IT 资产和采购部门,业务线感受得到,但说不清收益。

第二类是把生成能力接到企业知识资产上。问答、检索、文档处理、摘要、代码库理解都属于这一类。它改的是知识供给方式,成败几乎完全取决于语义层质量和评估集设计。据我了解的实践,这一类最典型的翻车形态是"演示阶段效果极好,上线三周后开始漂移"。原因是提示、索引、模型三者版本没有绑定,谁变了都不知道。

第三类是把生成能力接到流程与工具上,也就是指南所说的、由智能体驱动的第二波。它改的是执行路径:模型不再只是产出内容,而是决定下一步调用哪个工具、传什么参数、什么时候停。这一层要还的是治理债——权限、幂等、审计、终止条件,一个都不能少。

三种模式对应技术债、数据债、治理债。它们不能互相替代,也不该用同一套验收标准。

2.3 买还是建:两条路径背后的技术债清单

指南在描述企业路线时给出了两个端点:一端是寻找开箱即用、已被 GenAI 增强的生产力工具;另一端是用自己的专有数据精调模型、自建 GenAI 应用。中间地带才是大多数企业的真实位置,而中间地带最容易出事。

它给出的建议很具体:先检查现有应用组合里的 GenAI 路线图,而不是零散地为每个应用新推出的 GenAI 功能付费。判断依据不是"这个功能炫不炫",而是这个应用在你的组合里对数据、流程、智能分别扮演什么角色。一个只承担数据录入的系统,硬塞一个对话入口,产出的是又一条没人维护的集成链路。

指南还预判了一个时间窗口:随着供应商开始把核心 GenAI 技术适配到行业和业务域,到 2025 年上半年,市场会被一批按角色、按业务单元、按行业细分的解决方案补全。这个判断的实践含义是——现在不必把所有东西都自建,但必须保留替换能力。你今天自建的那部分,半年后大概率能在市场上买到更便宜的;如果你自建时把模型和提示硬编码进了业务逻辑,那笔省下来的钱会在迁移时连本带利还回去。

注意:把"GenAI 不是市场"理解成"不用单独采购"是误读。它的意思是,GenAI 的能力应该被当作既有系统的属性来规划,而不是当作一个新品类来立项。

3. 栈底两层:算力与模型为什么最先被商品化

3.1 基础设施层:训练与推理为什么几乎都发生在云上

指南对基础设施层的描述很克制:这一层由两类玩家分享——一类是 AI 芯片厂商,训练和推理负载的增长直接推高了对高内存、加速计算产品的需求;另一类是超大规模云服务商提供的 IaaS 和 PaaS。买方不是业务部门,而是技术厂商本身、服务商,以及那些想自己造模型、再把模型集成进应用(对内使用或对外变现)的企业。

为什么训练和推理几乎都落在云上?指南给的答案是"可扩展、弹性、成本有效"的算力、存储和网络选项。这个答案背后是负载特征:训练要吃满并行度,需要集群管理、分布式计算、内存管理、存储与网络优化;推理要压延迟和单位成本,需要弹性伸缩和可观测性。这两套能力和芯片本身不是一回事,它们属于"基础设施编排与调优"的软件层,而这一层恰好同时横跨 IaaS 和 PaaS。

芯片侧的动向值得单独说一句。指南提到,部分 AI 芯片厂商正在向软件层纵向整合,目的是更靠近技术栈顶部的应用价值;而超大规模云服务商则在投入自研的 AI 优化芯片,支撑自家 SaaS 应用和开发者需求。两股力量方向相反:一个往上爬,一个往下扎。这解释了为什么基础设施层看起来是硬件生意,实际竞争点却在"软件层靠近价值"这件事上。

指南还有个现实主义判断:目前算力、网络、存储硬件的大部分需求集中在云服务商手里,个别技术厂商会自建架构来训练定制模型,但在企业对 GenAI 的需求在自有数据中心里实质化之前,云服务商仍会承担企业用例的基础设施消耗。翻成工程语言就是:除非你的负载长期稳定到能算平折旧,否则自建集群大概率是一笔昂贵的自我满足。

3.2 模型层:闭源、开源、领域模型与轻量模型的四股竞争

模型层的判断是整份文档里最锋利的一句:生成模型的变现机会目前正处于峰值,投资和竞争都在加剧。领先者是谁?是那些在互联网数据收集上足够激进、能支撑大规模训练和精调的公司。

商业闭源模型的变现路径有三条,指南写得很清楚:一是自建应用,把模型能力包成产品卖;二是通过 API 开放给开发者嵌入;三是通过特殊合作协议,让伙伴在自己的云基础设施里部署模型实例,在部署外再包一层企业级安全与隐私。第三条最容易被忽略,但它解释了为什么同一个模型会在不同云上以不同合规形态出现——模型是同一个,外围的责任边界不是。

开源这条线的意义不是"免费",而是"拉平起跑线"。指南的表述是:随着商业选项出现、机会对技术社区变得清晰,开源运动开始聚焦到 LLM 选项上,试图为想基于生成模型构建的开发者与组织拉平竞争条件。对买方的直接价值是可替换性——你能读代码、能自托管、能在自己的边界内做接地和微调。

另外两个趋势更值得架构师关注。一个是模型在变小:针对特定用例,模型规模开始收缩;精调和 refine 所需的数据量与人工投入正在被精简。另一个是分化:领域特定模型(带深度横向或纵向术语与上下文)和轻量 LLM(面向云与边缘的成本与占地)在同时出现。这意味着"选最大的模型"不再是默认正确答案,选型维度从"能力上限"变成了"能力/成本/占地"的三维权衡。

3.3 商品化的方向:为什么价值会从模型层向两端转移

把 3.1 和 3.2 放在一起看,会发现一个结构性事实:栈底两层的竞争都在往中间挤压,而价值在往两端跑。

往下,是算力与能效。谁的芯片内存带宽更高、谁的集群调度更省、谁的推理单位成本更低,谁就拿到规模生意。往上,是工程工具、语义数据与流程知识。模型可以被替换,但一个喂了三年的语义层、一套跑了两年的评估集、一条被反复打磨的工作流,替换不了。

指南把"可选性"作为开发者的收益点直接写了出来:商业与开源之间的可选性在增加。可选性对买方是议价权,对卖方是压力。所以模型厂商必须向栈的两端绑定——要么绑算力(自研芯片、专属集群),要么绑应用(自家产品、伙伴云内实例)。这解释了一个常见困惑:为什么某些模型厂商明明模型很强,却要去做办公套件、做代码工具、做 Agent 平台。不是不专注,是单纯卖 token 的生意正在被商品化。

注意:判断一个 GenAI 供应商的长期位置,不要只看榜单分数。看它在栈上绑了哪一端——只绑模型层、两端都不沾的,议价能力最弱。

4. 栈顶两层:AI 工程工具、应用与第二波智能体浪潮

4.1 AI 工程工具层:全生命周期管理到底管哪几段

指南把这一层定义为:覆盖全模型生命周期管理的既有厂商和创业公司,专门针对生成模型(例如 LLM)与其他 GenAI 制品在生产应用中的开发、精调、部署,以及整体流程编排。

拆开看是四段,每段的失败模式不同。

第一段是开发与实验。提示、上下文模板、接地片段、工具描述,这些东西的变更频率比代码还高,却没有天然的版本控制习惯。常见的实现思路是把它们当作配置资产纳入仓库,和代码一起走评审。

第二段是精调与评估。指南没有展开,但按这个领域的通行做法,评估集才是这一层真正的资产。没有离线评估集,你无法回答"换了模型之后是变好还是变坏",只能靠用户投诉来发现问题。这就是黑匣子的开始。

第三段是部署与推理服务。这一段和基础设施层有重叠:弹性、批处理、路由、降级。区别在于工程工具层更关心"哪个任务走哪个模型",而不是"哪台机器跑哪个容器"。

第四段是流程编排。当应用从单次调用变成多步流程,编排就从"便利功能"变成" correctness 问题"——哪一步可以重试、哪一步必须幂等、哪一步需要人工确认,都得显式声明。

4.2 应用层:从单任务上下文增强到流程感知

指南对应用层的描述分两层。底层是单任务增强:当 GenAI 嵌入体验之后,它为生成和编辑文本、代码、图像及其他多模态输出这类单一任务提供更丰富的上下文。这句话的重点是"上下文"——不是模型变聪明了,是它终于看到了你正在编辑的那段文字、那个文件、那个代码库。

上层是流程感知的智能体:作为一种新兴能力,流程感知的 GenAI 智能体可以被用户提示,去加速那些把多个任务串起来的工作流。注意"流程感知"这个限定词。它不是"能调用工具",而是"知道自己在哪个流程的第几步"。这两者差别很大:前者是能力,后者是上下文建模。

我认为这一层的产品分水岭就在这里。只做单任务增强的应用,护城河是交互设计,很容易被平台厂商的一个内置按钮抹平;做流程感知的应用,护城河是流程知识本身,反而更难被替代,因为流程知识长在客户的业务里。

4.3 第二波创新:把 LLM 接到工具上,为什么会改变架构策略

指南对两波浪潮的划分值得逐字读。第一波供应商集中在快速生产内容和体验上,靠企业信息和知识库辅助。第二波是 AI 智能体技术,它通过把 LLM 连接到软件工程和 AI 工具上,制造出新的创新浪潮;这一波会在处理动态流程与工作流的市场上释放二阶效应。

第一波和第二波在机制上的差别,我一般这么理解:内容生成是"一次调用,一个结果",失败模式是答错;智能体是"有状态的循环"——规划、选工具、调用、观察、再规划、终止,失败模式是做错。答错可以重试,做错可能已经改了数据、发了邮件、提交了合并请求。

这个差别把一批新问题推到了架构层:工具必须幂等,否则重试就是灾难;循环必须有终止条件,否则步数和成本会失控;权限必须最小化,因为智能体拿着的是用户的凭据;轨迹必须可回放,否则出了问题只能靠猜。指南提到,LLM 和大型动作模型(LAM)的研究在过去一年推进很快,直接催生了 2024 年的生成式智能体平台。LAM 这个词值得注意——它把"动作"作为建模对象,而不是把"文本"作为建模对象。

4.4 多智能体与仿真:不确定性从"输出"扩散到"路径"

指南在关键发现里写了一句很容易被略过的话:由 GenAI 赋能的智能体技术,会把架构策略推向多智能体系统与仿真这两类市场。

为什么是架构策略,而不是功能清单?因为不确定性扩散了。单模型应用的不确定性集中在输出内容上,你可以加一层校验、加一个人工确认。多智能体系统的不确定性分布在执行路径上——哪个智能体先动、谁给谁传消息、冲突怎么解、全局目标怎么收敛。这已经不是提示工程能解决的问题,是分布式系统问题。

仿真这条线更有意思。指南在模型提供者层明确把"仿真"列为生成算法的一类,和 GAN、遗传/进化算法并列。也就是说,仿真既是 GenAI 技术的产出(合成数据、场景生成),也是验证 GenAI 系统的手段(在仿真环境里跑智能体,看它在长尾场景下怎么崩)。这个闭环一旦形成,智能体的评估就不再依赖真实用户去踩坑。

代价是复杂度。多智能体意味着更多的进程、更多的消息、更多的失败组合,而现有的可观测体系是按"请求—响应"设计的,不是按"轨迹"设计的。这是我看到的最实在的架构欠账。

5. 落地排查:从试点走到生产的五个注意事项

5.1 松耦合不是口号:模型适配层要长什么样

指南的第一条建议就是:提前规划,降低 GenAI 试点和生产应用的技术债;把方案设计成与生成模型松耦合,以便灵活选型和组合。

"松耦合"四个字在方案里人人都会写,落到代码里经常变成"我们在配置文件里放了一个模型名"。那不叫松耦合,那叫把硬编码挪了个位置。真正的松耦合至少要覆盖四件事:统一的请求协议(业务代码不感知具体厂商 SDK)、能力声明(这个后端支不支持工具调用、视觉输入)、按任务的路由策略(不是全局一个模型)、以及确定性的降级路径(超时或预算耗尽时走哪条路)。

下面这段是示意,不是某个厂商的实现:

# 示意:最小模型适配层,业务代码只依赖 GenRequest 与 Router from dataclasses import dataclass from typing import Protocol, Iterator @dataclass class GenRequest: task: str # 任务标识,用于路由与评估归因 prompt: str grounding: list[str] # 接地片段,来自语义层,本身可版本化 budget_ms: int = 3000 # 单次调用预算,降级的触发点 max_tokens: int = 1024 class ModelBackend(Protocol): name: str def capabilities(self) -> set[str]: ... # {"chat","tool_call","vision"} def generate(self, req: GenRequest) -> Iterator[str]: ... class Router: def __init__(self, backends: list[ModelBackend], policy: dict[str, str]): self.backends = {b.name: b for b in backends} self.policy = policy # task -> backend name def pick(self, req: GenRequest) -> ModelBackend: name = self.policy.get(req.task) # 按任务选型,而非全局指定 if name not in self.backends: # 策略指向了未注册的模型 name = next(iter(self.backends)) # 确定性降级,不是随机兜底 return self.backends[name] def run(self, req: GenRequest) -> Iterator[str]: if req.budget_ms <= 0: raise TimeoutError("预算耗尽") return self.pick(req).generate(req)

关键点有四。task字段不是为了好看,它让评估能按任务归因——否则你只知道"整体变差了",不知道是哪类请求变差。grounding显式作为参数传入,是为了让接地片段的版本和请求一起被记录,出问题时能复现。policy按任务映射而不是全局一个模型,这是成本控制的主开关:简单请求走小模型,复杂请求升级。budget_ms给降级一个确定的触发点,而不是等上游超时。

5.2 语义数据层:为什么它比模型换代周期更关键

指南把企业知识资产列得很细:内容、数据、规则与启发式、语料、数字孪生模型、知识图谱。这些东西的作用是"提示和接地 GenAI 模型的行为",让模型服务于各种生成服务。

为什么说它比模型换代周期更关键?因为模型的半衰期现在是按月算的,而语义层的建设是按季度甚至按年算的。也就是说,你不可能在每次换模型时重建一遍知识资产。如果接地逻辑和某个模型的提示格式绑死,那每次换代都是一次重建——这就是最典型的技术债。

我一般把语义层理解成三层:事实层(结构化的实体与关系)、语义层(术语、同义词、业务规则)、检索层(索引、切片策略、召回策略)。指南说的"语义数据层"落在这三层中间。它的验收标准很简单:换一个模型,接地的召回结果不变,只是最终表述变了。做不到这一条,说明接地还没和模型解耦。

5.3 五个注意事项

第一条,试点效果很好,上线三周后回答开始漂移。现象是同一批问题,答案质量肉眼可见地下滑,但代码没改。原因通常是提示模板、检索索引、模型版本三者中有一个悄悄变了,而评估集没有跟着跑。解决方式是把提示、索引、模型版本作为一个整体做版本化,每次任一变更都跑一遍固定评估集,回归不过就不发。

第二条,同一个能力在两个系统里被重复采购。现象是财务对账时发现两笔功能高度重叠的支出。原因是按"功能清单"而不是按"栈位置"盘点应用组合。解决方式是先画出组合里每个系统对数据、流程、智能的角色,再看 GenAI 能力应该长在哪一层,而不是谁先来推销就买谁的。

第三条,治理卡在最后一公里,上线无限延期。现象是模型和功能都验收完了,合规评审过不去。原因是指南明确点出的那件事:治理系统的"最后一公里"往往需要定制开发,买不到现成的。解决方式是把采购和法务提前拉进供应商评估,把自有 IP 保护、第三方 IP 使用、偏见与有害输出的管理写进选型评分表,而不是当成上线前的补签流程。

第四条,智能体在演示里很顺,真实流程里死循环或者重复调用工具。现象是同一个查询被反复提交,账单异常上涨,或者流程卡在某一步不动。原因是缺终止条件、工具不幂等、没有步数与成本上限。解决方式是给每个智能体显式定义状态机、步数上限、成本上限、工具幂等约束,以及一个人工接管点。

第五条,推理成本随用户增长线性上涨。现象是用户数翻倍,账单也翻倍,毛利被吃光。原因是所有请求都打到最大的那个模型。解决方式是分级路由(小模型先试、置信度低再升级)、结果缓存、离线批处理,再用 5.1 里的policy把它固化下来,而不是靠开发同学自觉。

5.4 治理的最后一公里:为什么它注定要定制开发

指南在这一段的措辞很实在:考虑你和你的供应商双方的伦理与负责任 AI 实践,比如保护自有 IP、注意第三方 IP 的使用、管理模型输出的偏见与有害内容;核查解决方案的内容训练来源,以评估随着未来几年立法生效你所暴露的风险;把采购和法律团队纳入供应商评估与选择;买方应当预期治理系统的"最后一公里"是定制开发。

"预期是定制开发"这句话是给预算看的。治理不是买一个合规勾选框,它要长在你自己的权限体系、审计体系、数据分级体系上。指南还提到一个容易被低估的时序问题:内容训练来源的核查现在做,是为了应对未来几年才生效的法规。也就是说,证据要在风险发生前采集,事后补不出来。

6. 设计取舍:可选性、技术债与一次"换模型演练"

让我把整份指南压成一个取舍问题:在 GenAI 这件事上,你到底在为什么付费?

如果为"最强模型"付费,你买到的是一份会过期的优势——指南自己说了,变现机会正处于峰值,竞争在加剧,模型在变小,领域模型和轻量模型在同时冒出来。半年后一定有一个更便宜、在你的场景上够用的选项。

如果为"可选性"付费,你买到的是议价权和迁移自由。指南给的两个战略假设恰好支撑这个判断:到 2027 年,直接使用开源 AI(而非间接通过其他供应商)的公司数量将增长十倍;同期,GenAI 会推动其他非 GenAI 的 AI 技术的使用量增长 400%。前一条说的是可选性的供给在变多,后一条说的是 GenAI 正在变成其他 AI 技术的入口——因为交互成本被拉低之后,那些一直存在但没人愿意学的模型,终于有人用了。

那怎么验证自己的方案真的有可选性?我给一个成本最低的实验:换模型演练。挑一个已经上线的功能,把后端换成一个能力相近但不同的模型,不改任何业务代码,只看三件事——评估集分数掉多少、降级路径有没有被触发、账单变化多少。如果这件事需要改业务代码才能完成,那 5.1 里说的松耦合就是假的;如果评估集分数无法对比,那评估体系就是空的;如果降级路径一次都没触发,说明你根本没设计降级。

这个演练我踩过坑。早些年做一个文档处理的小系统,模型调用直接写在了业务服务里,提示拼接散在七八个函数中。后来供应商调整了接口,我们花了整整两周做"只是换个模型"的迁移,期间所有评估全靠人工抽查。血泪经验就是那一课:技术债不会因为你看不见就消失,它只是在你最忙的时候到期。

从那以后,我每次评审 GenAI 方案,都强制走一遍"换模型演练"和"接地版本核对",两个都过不了就不进生产。希望帮到你。

本文还有配套的精品资源,点击获取