最近这一年，我身边越来越多做AI部署的同事和朋友，开始把选型预算从云端GPU挪向国产AI算力芯片。核心原因就一句话：模型越来越能落地，但推理成本压不住了。训练是少数玩家的游戏，推理和边端才是大多数工程团队每天都要面对的事。这篇文章想聊清楚三件事：国产AI算力芯片到底有哪些品牌在打主力；为什么说推理与边端是突破口；真把模型放到这些芯片上跑，指标怎么挑、坑怎么绕。内容偏工程视角，适合做算法部署、边缘计算产品和AI基础设施选型的人参考。

如果你刚接触这个领域，可能觉得芯片品牌太多、参数太杂。没关系，我尽量用选型和落地时会遇到的真实场景来讲，不堆参数，也不给PPT式的结论。

1. 为什么说推理与边端才是真正的切入点

1.1 训练与推理的算力需求是两套逻辑

训练大模型的时候，芯片要应付的是“大而全”的负载：上百亿参数反复迭代，张量并行、数据并行、流水线并行轮番上阵。这个场景对算力、显存容量、卡间通信带宽、集群稳定性都有极高要求，而且通常要配合一套成熟的分布式训练框架才能用起来。训练跑一次成本很高，但它是阶段性的，训练完就可以把资源释放掉。

推理不一样。模型部署之后是要长期在线跑的，每个月、每一天都在产生算力开销。云端推理要同时服务大量并发请求，单个token生成得快不快、显存里能塞进多少并发、单位请求的电力成本是多少，直接决定项目的商业模式能不能成立。边端推理更狠，它对时延、功耗、离线可用性和数据隐私都有硬约束，模型往往还要跑在很小的盒子里。

所以训练和推理是两套完全不同的选型逻辑。训练侧看重综合算力和生态完整性，推理侧更看重性价比、时延和部署灵活性。国产芯片要同时在这两条战线上击败成熟方案很难，但在推理和边端这条赛道上，可以通过场景优化、软硬协同和差异化定价找到生存空间。

1.2 推理市场的碎片化为新品牌提供了切入机会

云端训练市场经过多年沉淀，软硬件生态已经非常固化。工程师从小用惯了一套工具链，换成新芯片的迁移成本不只是改几行代码那么简单，还可能涉及分布式框架、存储、监控、运维体系的全链路适配。这个惯性非常强，单靠更强算力很难撬动。

推理市场不一样。它高度碎片化：有跑大语言模型的私有化项目，有跑Stable Diffusion的AIGC业务，有跑十几个小模型的工业质检产线，有把模型塞进摄像头的视觉场景。每个项目的模型不一样、并发量不一样、预算不一样，很难用一套标准化方案通吃。客户更关心交货时间、单卡吞吐、功耗和本地化支持，对品牌本身的忠诚度没那么高。只要你的芯片能把模型跑起来、性能达标、工具链别太反人类，项目方就愿意试。

这种碎片化恰好是国产AI算力芯片的切入点：在特定模型、特定场景里做深度优化，把几个常用模型的性能调到比通用方案更好，就能拿到项目。逐步积累口碑后，再往更多模型和场景扩展。

1.3 边端靠“场景定义芯片”形成护城河

边端和云端还有一个本质区别：边端芯片往往不是一块单纯的算力卡，而是把NPU、CPU、ISP、视频编解码、显示输出、车规接口等整合在一起的系统级芯片。这意味着芯片厂商不能只在算力上做文章，还要理解目标行业的具体需求。

比如做智能摄像头的芯片，看的是能同时解码多少路视频流、ISP好不好、NPU能不能低功耗跑目标检测模型；做机器人的芯片，看的是算力实时性、接口丰富度、能不能在恶劣环境里稳定运行；做人形机器人或智能座舱的芯片，则要看工具链是否支持复杂模型快速迭代。

这种“场景定义芯片”的模式，决定了边端市场不是纯拼规模，而是拼对场景的理解和工程化能力。今天看起来是安防芯片厂，明天可能是机器人芯片厂，产品定义能力比通用算力更重要。

2. 品牌全景：这些国产AI算力芯片玩家在做什么

先放一张我梳理的主力玩家表，后面再逐个讲逻辑。

2.1 云端大卡：目标是大模型推理与通用AI加速

云端品牌里，华为昇腾应该算目前能见度最高的。从板卡到服务器、从推理到训练、从底层编译到上层框架都有完整方案，公开案例也最多。昇腾310系列用在中低功耗推理场景，910系列面向数据中心，产品定位非常清晰。如果你的项目需要快速验证，遇到问题能找到参考项目，昇腾生态是相对稳妥的选择。

寒武纪在AI加速领域起步早，思元系列从云端推理到训练都有覆盖。早期很多互联网公司和科研机构的AI推理试点用到它的产品，积累了不少算子库和工程经验。这家公司的特点是比较专注AI加速，通用计算能力不是重点，适合纯AI负载。

海光、燧原、天数智芯、沐曦、壁仞、摩尔线程这几家各有侧重。海光做的是类GPU通用加速路线，如果团队有CUDA迁移经验，在它的生态上迁移成本相对可控，既能跑AI也能兼顾科学计算类负载。燧原在大模型训练卡和推理卡上布局比较激进，和智算中心合作频繁。天数智芯、沐曦的云端加速卡主要瞄准AI训练和推理场景。壁仞和摩尔线程走的都是通用GPU方向，除了AI计算还会覆盖图形渲染等通用计算场景。

云端选品牌时有一个容易被忽略的点：卡本身的性能只是起点，服务器整机、配套运维、厂商响应能力才是决定项目能否按期交付的关键。部分品牌只提供板卡，需要自己适配服务器和供电散热，这会额外增加集成工作。

2.2 边端SoC：把NPU、ISP、编解码打包在一起

边端品牌里，地平线是绕不开的名字，征程系列从智能驾驶起家，现在已经延伸到机器人场景。它的BPU架构不是简单堆算力，而是针对视觉感知和Transformer类模型做了专门优化。如果你做的是智能驾驶或移动机器人项目，征程系列在各厂商里的量产案例相对丰富。

瑞芯微则是AIoT领域的老面孔，RK3588这类旗舰级SoC集成的NPU算力大概在6TOPS级别，够跑一些轻量级视觉模型。它的价值在于生态特别成熟，国际国内主流操作系统、开源AI框架、多媒体中间件都有适配，做消费级或工业级智能硬件量产时能省去大量底层开发时间。

爱芯元智比较有意思，他们的AX系列主打AI-ISP，把AI能力和图像信号处理结合起来，在暗光、运动场景下能实现更好的成像效果。智能摄像头、扫地机器人这类产品就比较喜欢这种方案。黑芝麻智能主要做车规芯片，华山系列面向智能驾驶场景，和地平线形成直接竞争。算能的产品线跨度更大，从边端小盒子到服务器都有布局，适合做边缘计算网关类产品。

2.3 先看生态成熟度，再看纸面性能

品牌再多，落到选型上就一句话：先看生态成熟度，再看纸面性能。所谓生态成熟度，包括几个具体问题：官方有没有提供详细的模型移植文档？社区里能不能搜到同类项目的踩坑记录？该芯片是否支持主流推理引擎？算子库是否覆盖你模型里用到的关键算子？

这些远比芯片的TOPS数字重要。一颗芯片标称64TOPS，结果你的模型有一个关键算子不支持，或者内存带宽喂不饱算力，实际跑起来可能还不如一颗标称32TOPS但优化好的芯片。

我建议的做法是：接到项目后，先圈定两三家候选芯片，然后拿真实模型去跑一轮benchmark，不要只看厂商提供的芯片白皮书。真实模型跑出来的性能、精度和功耗数据，比任何宣传材料都靠谱。

3. 推理部署的硬指标：产品页写得再好也会骗人

3.1 内存带宽决定token生成速度

很多人选芯片时只会看TOPS（每秒万亿次操作），但对大模型推理来说，内存带宽的重要性不亚于算力，甚至在很多场景下比算力更关键。

找进展：大语言模型生成token时，需要反复读取模型权重。以70B参数模型为例，保留FP16精度的话权重体积大概是140GB。每当模型要生成一个token，理论上都要把这140GB权重完整读一遍。如果芯片的内存带宽是1TB/s，光读取权重就需要0.14秒，也就是说理论最高只能达到每秒7个token左右的生成速度。实际还要叠加KV Cache读写、注意力计算等开销，真实速度只会更低。

这个计算虽然粗略，但足以说明问题：大模型推理是典型的“带宽敏感型”负载，单纯堆算力效果有限。边端芯片如果有统一内存架构，NPU和CPU共享内存带宽，那大模型跑起来后系统其他任务很容易被拖慢，这也是选型时需要考虑的。

3.2 算力精度与量化支持要分清

国产芯片宣传算力时经常用不同精度混着报，有的标FP16，有的标INT8，有的干脆写“等效算力”。选型时一定要搞清楚两个精度指标各是多少，因为不同业务吃的是不同算力。

FP16/BF16算力决定FP16模型和混合精度推理的速度，INT8/INT4算力决定量化模型的速度。一项典型的视觉模型量化成INT8后，速度可能比FP16快两到三倍；大语言模型量化到INT4后，显存占用和带宽压力都会大幅下降。

所以你要先想清楚自己的模型打算用哪种精度部署。如果团队没有量化经验，优先选FP16算力高的芯片；如果模型比较大、必须做INT8/INT4量化，那要重点考察芯片的量化工具是否好用、量化后精度损失是否可控。

3.3 算子覆盖、框架接入、推理引擎适配

这是最容易被低估的隐性成本。芯片厂支持几个常见算子很容易，难的是你的模型里有不常见算子，以及周边配套工具是否好用。

具体看三块：第一，算子覆盖，PyTorch和ONNX里常用算子的支持率；第二，推理引擎适配，厂商自带的推理运行时，以及vLLM、OpenVINO、Triton等主流推理引擎对这颗芯片的支持状态；第三，调优工具，有没有现成的性能分析工具、模型压缩工具，能不能快速定位性能瓶颈。

我见过太多项目卡在算子适配阶段，模型本身推理很快，但为了替换一个不支持的算子浪费一周时间。选型前最好把手头真实模型导出成ONNX格式，去厂商工具链里跑一遍算子检查，五分钟就能知道潜在问题。

3.4 功耗与散热约束

这个约束在云端看起来不严重，放到边端就是生死线。工业现场的设备可能放在密闭电控柜里，环境温度五六十度，还没有空调；车载和机器人场景则要过振动测试、老化测试、EMC测试。芯片标称功耗10W，实际满负载能跑到20W，散热设计就要按20W来配。

边端选芯片时建议去查几个数据：典型功耗、峰值功耗、允许的工作环境温度范围，以及出厂前的可靠性测试标准。工业级和车规级的芯片，可靠性要求和消费级完全不同。同一个型号如果有不同的温度等级版本，优先选择符合目标场景工艺条件的版本。

4. 边端落地场景解密：哪些项目真的跑起来了

4.1 工业视觉质检：小模型多路并发

工业质检是边端AI落地最成熟的场景之一。光源、相机、传感器都在产线上部署，检测算法通常比较小，比如分类模型、目标检测模型或者分割模型，单路视频消耗的算力不大，但对多路并发和稳定性有要求。

这类场景对芯片最核心的诉求不是极限算力，而是多路视频编解码能力和ISP能力。一颗能同时硬解十几路1080P视频流的SoC，配合自带的NPU跑小模型，就可以替代传统“工控机加GPU卡”的方案，成本和功耗都大幅下降。瑞芯微、爱芯元智这类带视频处理能力的芯片在这种场景里很有优势。

实际部署时还要算一路账：单台设备接几路相机、每路相机的分辨率和帧率是多少、模型推理延时上限是多少。这些指标共同决定选哪颗芯片。只算模型推理时间不算编解码时间，经常会导致实际系统跑到一半就掉链子。

4.2 本地大模型私有化部署：数据不出域的刚需

最近一年我接触到的私有化大模型项目越来越多，客户五花八门：企业内部知识库、本地办公助手、客服问答系统、法律文书处理……核心诉求几乎都是同一个：数据不能出域，模型必须在本地运行。

这种项目通常跑7B到14B的中小参数模型，部署方式五花八门。如果预算充足，可以用云端推理卡；如果设备要放到分支机构的机柜里，可能就需要边端盒子类产品。14B模型做INT4量化后，权重体积大概在7GB左右，对边端设备的内存要求不算离谱，关键是内存带宽能不能支持可用的生成速度。

我自己对私有化大模型项目的最低速度要求是每秒8到10个token，低于这个速度用户体验会很差。要达到这个水平，芯片的内存带宽至少要有几十GB/s以上，单纯看TOPS是看不出来的。所以接这类项目时，别只问芯片算力多少，一定要问清楚内存带宽、内存容量，以及是否能装下带KV Cache的完整部署模型。

4.3 机器人、无人车与车载：时延确定性优先

机器人和智能驾驶场景与前面几个完全不同，它们对时延的要求是“确定性”，不是平均快就行。自动驾驶领域有句话叫“99.9%的时延才是真正的时延”，偶尔一次卡顿可能就会造成安全事故。

地平线的征程系列在这些场景里相对常见，BPU架构对视觉模型的支持经过多年迭代，车内配套的摄像头接入、视频解码、显示输出能力都比较成熟。黑芝麻智能的华山系列也覆盖类似场景。这类产品通常会提供功能安全相关的文档和接口，对车规级项目来说这是硬指标。

做机器人项目时，还要考虑芯片的CPU算力。机器人系统的多传感器处理、SLAM、路径规划等算法对CPU的要求很高，如果NPU算力很强但CPU太弱，整体系统依然会卡顿。选型时要看芯片的总系统算力，而不是只看NPU。

下面整理一张边端场景和选型关注点的表，供参考。

5. 部署实操：把模型跑上国产芯片的完整路径

5.1 从ONNX导出到离线模型转换

不管选哪个品牌，国产AI芯片部署模型的路径都大同小异，模式基本是：先在训练环境里把模型导出成ONNX或厂商支持的中间格式，再用厂商提供的转换工具把ONNX转成芯片可执行的离线模型文件，最后用厂商的推理运行时加载执行。

以昇腾为例，流程大致是：PyTorch模型转ONNX，再用ATC工具把ONNX转成OM格式，部署阶段用ACL（AscendCL）接口加载OM文件执行推理。寒武纪的路线是PyTorch模型接入Neuware之后直接用推理接口执行，或者导出为离线模型再部署。其他品牌也都有对应的“模型转换工具加推理运行时”。

这里最关键的一点是：不要在转换阶段才开始做算子兼容性检查，要在模型训练阶段就提前介入。如果你的项目用了很新的Transformer结构或自定义算子，先检查目标芯片工具链的上层框架版本是否适配，很多算子问题可以通过升级PyTorch版本或修改模型代码来规避。

转换工具通常会提供精度校验能力，把转换后的模型与原始模型在同样的输入数据上跑一遍，比较输出差异。不要跳过这一步，特别是数值敏感型模型。转换工具报的精度误差指标达标，不代表真实业务效果不受影响，有条件的话用一批真实业务数据做端到端验证。

5.2 是否需要上推理引擎

推理引擎的选择，取决于部署规模和并发要求。如果只是边端单路摄像头跑一个目标检测模型，厂商自带推理运行时通常就够；如果要做并发量比较大的云端推理服务，就需要考虑上vLLM、Triton等通用推理引擎。

现在部分国产云端芯片已经实现了对主流推理引擎的原生或半原生适配。以昇腾为例，vLLM已经可以通过特定分支或插件在昇腾硬件上运行，支持连续批处理、PagedAttention等关键特性。这对做私有化大模型项目来说非常有价值，因为能显著提升并发吞吐和显存利用率。

但如果芯片厂商的推理引擎适配还不成熟，我的建议是“两条腿走路”：先用厂商的自带运行时把单卡性能摸清楚，再根据封装好的推理框架设计服务接口，不要一上来就在通用推理引擎上死磕。很多时候，厂商自带运行时在特定模型上的性能反而不输通用引擎，只是并发管理能力弱一些。单路模型部署用自带运行时，多路模型部署再考虑通用引擎，是更稳妥的组合。

5.3 我在实际项目中踩过的三个坑

第一个坑：算子不支持，而且报错信息非常不明显。我在一个视觉模型里用了较新的注意力模块，导出阶段没报错，转换阶段也没有异常，直到离线模型跑到一半才出现精度异常。花了两天时间定位，最后发现是某个算子被转换工具悄悄替换成了低精度实现。从那以后，我养成了一个习惯：转换结束后先从模型结构文件里检查关键层有没有被替换或融合，再跑精度校验。

第二个坑：量化精度陷阱。模型原本用FP16部署，为了提速换成INT8量化，离线评测精度掉了0.3个点，看起来似乎不大。结果放到真实业务数据上跑，直接出现了一批误检，因为线上数据分布和测试集差异较大，量化误差被放大了。后来换了支持混合量化的方案，对敏感层保留FP16，这才把精度拉回来。做量化前一定要用真实业务数据验证，不要只信离线评测集。

第三个坑：驱动和工具链版本的强绑定。某次升级推理库之后，原有的离线模型全部加载失败，排查了一圈才发现是新版本推理库和当前固件版本不兼容，需要同步升级固件才能继续用。那次之后，我部署国产芯片时都会用容器镜像把版本环境固化下来，升级时先在测试环境完整回归，再考虑应用到生产。千万别小看环境管理，对国产芯片尤为重要，因为工具链迭代快，版本之间兼容性未必做得很完善。

6. 我个人做选型和落地时的体会

现在国产AI算力芯片的选择已经不少，但每个品牌之间的成熟度差距很大。我的个人判断是：如果团队里没有专门的AI工程化人员，项目周期又比较紧，优先选工具链成熟、公开案例多的品牌，哪怕单位算力价格贵一点也值；如果团队有较强的算法工程能力，愿意承担适配工作，可以选性价比更有优势的新品牌，在项目里积累自己的适配经验。

实操层面，我会始终坚持三个习惯：第一，选型期至少留出一到两周的真实模型benchmark窗口，用项目真实模型和数据跑一轮；第二，部署前先和厂商技术支持确认两个问题——我的模型里有没有已知不支持的算子，以及当前推荐使用的工具链版本号是什么；第三，生产环境统一用容器或镜像固化软件栈，避免版本漂移导致线上模型失效。

芯片迭代很快，今天觉得冷门的品牌，可能过两个版本之后生态就完善起来了。做技术选型时不要一锤子定死，在架构设计上预留好抽象层，让推理后端可以切换，会从容很多。国内做AI部署的人，这两年都会面对“算力从哪里来”的问题。掰开看，推理和边端不是退而求其次的选择，而是这个阶段更务实、更容易做出成绩的方向。希望这篇文章能把你的选型思路理清楚，少走我走过的弯路。