11.04 大语言模型研究简报:OpenAI 工程 Agent 在 BenchCAD 2.0 上达到 0.875 分
从代码到物理工程:OpenAI 工程 Agent 在 BenchCAD 2.0 上达到 0.875 分
研究动态|2026 年 11 月 4 日
机构:OpenAI
原始发布日期:2026 年 11 月 3 日
进展类型:官方研究进展披露;新内部模型尚未公开
大型语言模型的应用场景正在从代码编写延伸至真实的工程设计。2026 年 11 月 3 日,OpenAI 发表《Accelerating engineering for the physical world》,介绍 GPT-6 Astra 与 Codex 在机械设计、计算机辅助设计(CAD)、印刷电路板(PCB)设计、有限元分析(FEA)及制造工作流中的应用。
其中最值得关注的结果是:OpenAI 报告,一款尚未公开的内部模型在 BenchCAD 2.0 上取得 0.875 的平均分;GPT-6 Astra 在最高推理强度下为 0.594。这一差距反映了工程建模能力的潜在进展,但由于新模型尚未公开,其评测设置与结果仍需独立验证。
一、核心数据:从 0.594 到 0.875
| 模型 | BenchCAD 2.0 平均分(0–1) | 公开状态 |
|---|---|---|
| OpenAI 新内部模型 | 0.875 | 未公开 |
| GPT-6 Astra(最高推理强度) | 0.594 | 已发布模型 |
| 分数差值 | +0.281 | 基于 OpenAI 官方披露计算 |
图 1|OpenAI 官方披露的 BenchCAD 2.0 平均分:新内部模型为 0.875,GPT-6 Astra(最高推理强度)为 0.594;差值为 0.281。分数不是可制造性或任务成功率。
这里的 0.281 是基准分数的绝对差值,不能直接解读为“真实工程任务成功率提高了 28.1 个百分点”。同时,官方没有披露新内部模型的架构、训练方法、推理预算或完整评测轨迹,也不能据此判断性能提升来自哪一种技术改动。
二、BenchCAD 2.0 在测什么?
BenchCAD 2.0 于2026 年 10 月 12 日推出,旨在考察模型能否根据工程图纸、渲染视图和部件信息,生成可供进一步处理的 CAD 或电子设计结果,而不仅是回答工程知识题。
它覆盖六类任务:
- 根据带尺寸的工程图重建三维零件。
- 在提供现有零件的条件下完成装配。
- 根据零件图和装配图同时重建新零件与装配关系。
- 根据多个渲染视角逆向重建三维零件。
- 根据渲染视图逆向恢复零件及装配体。
- 根据 PCB 的多视角图像恢复电路连接关系。
图 2|根据 BenchCAD 团队的六类任务定义绘制的结构示意图。Core 含 100 个保留评测案例;图中没有隐含各类任务的数量、比例或单项成绩。
这一基准的特点在于采用几何和电气连接的程序化评分,而非仅用另一个语言模型判断结果是否正确。评测关注零件形状、空间位置、装配关系和线路拓扑等可检查对象。
这也揭示了工程 Agent 与普通代码 Agent 的一个重要差异:程序语法正确并不意味着设计有效。零件方向、配合公差、焊盘连接等细微错误,可能使外观看起来合理的方案无法装配、制造或正常工作。
三、从评测走向真实设备:Astra 参与设计实体原型
OpenAI 还展示了一项完整的机电产品设计实验:使用 Astra 协助完成可与 Codex 交互的实体设备,其工作涉及以下环节:
- 结构设计:设备外壳及内部支撑结构。
- 电子设计:PCB 元件选型、布局与电气连接。
- 软件集成:用户界面、固件和配套软件。
- 制造衔接:输出供制造商使用的设计结果,并根据审核反馈修改。
根据 OpenAI 的披露,两名团队成员在不到一周内完成了设备设计,合同制造商随后在不到一个月内制作了小批量原型。
OpenAI 同时披露,自 2026 年 2 月以来,其硬件团队对模型的使用量(按 Token 计)增长了23 倍。这一数字衡量的是使用量,不能直接作为工程产出或生产率提升的证据。
图 3|三项指标均来自 OpenAI 官方文章,分别是团队模型使用量、特定设备的设计时间、特定原型的制造时间,口径不同,不宜进行直接的效率换算。
但这一演示并不代表无人监督的自动制造已经实现。在进入制造环节之前,团队仍需多轮审查和迭代,尤其需要纠正制造能力、尺寸公差和装配细节方面的问题。
四、为什么这项进展重要?
1. Agent 的输出开始受到物理约束
过去,对编程 Agent 的评价通常聚焦于代码是否通过测试;而在实体工程中,输出还必须满足几何约束、空间装配关系、电气连通性以及实际制造条件。工程 Agent 需要将自然语言任务、专业软件操作和可验证的设计产物连接起来。
2. 评测从“答案正确”转向“设计可验证”
BenchCAD 2.0 采用程序化评分,使模型输出可以和参考几何、装配布局或电路拓扑进行比较。相比单纯的文本评价,这更接近工程团队对实际交付物的检查方式。
3. 为机器人和机电系统研发提供新工具路径
机器人硬件研发同样涉及 CAD、机构装配、电路设计和仿真。若模型能够可靠调用专业工具并修正设计错误,未来可能承担更多从需求分析到仿真检查的工程辅助工作。不过,现有结果尚不能证明模型具备可靠的自主机器人硬件研发能力。
五、与此前工作的关系:BenchCAD 本身不是新发布
需要区分两个时间点:
- 2026 年 10 月 12 日:BenchCAD 团队发布 BenchCAD 2.0,报告 GPT-6 Astra 在其当时的评测设置下约为0.59。研究还发现,模型容易出现“零件形状基本正确,但装配位置或朝向错误”,以及 PCB 连线错误等问题。
- 2026 年 11 月 3 日:OpenAI 公布进一步的工程 Agent 应用案例,并首次披露一款新内部模型达到0.875的平均分。
因此,11 月的新进展不是 BenchCAD 2.0 基准首次提出,而是 OpenAI 报告了新的内部模型表现,以及在真实机电设计流程中的应用经验。
BenchCAD 2.0 的代码、评分器和部分开发样例已经开放;但用于正式排名的 100 个 Core 案例采用受限评测访问方式。公开仓库不等同于完整的无条件公开评测数据。
六、尚待解决的问题
现阶段应保留以下判断边界:
- 独立复现不足:0.875 来自 OpenAI 官方披露,未见该内部模型的独立公开评测。
- 训练细节未知:无法判断提升主要来自模型规模、专门训练、工具链改进还是推理预算。
- 工程有效性未被完全覆盖:BenchCAD 的几何及电路拓扑评分不直接等于可制造性、结构可靠性或实际物理性能。
- 人类仍在回路中:已公开的实体设备案例需要工程人员审核制造公差、装配条件等关键细节。
结语
这次进展最值得关注的,并非单独的 0.875 分,而是大模型 Agent 开始进入可用几何、电路和制造约束检验的实体工程工作流。接下来更关键的研究问题是:模型能否稳定识别并修正工程错误,以及基准上的能力提升能否转化为可复现的设计质量与实际生产效率。
参考资料
- OpenAI(2026-11-03):Accelerating engineering for the physical world —— 官方研究披露、内部模型得分及实体设备设计案例。
- BenchCAD Team(2026-10-12):Introducing BenchCAD 2.0 —— 六类任务、评分方法、历史结果与局限性。
- BenchCAD-org:BenchCAD 2.0 官方 GitHub 仓库 —— 评测框架、评分代码及公开样例。