如果一套 AI 生成的工程方案满足了 91% 的约束，它算“基本可用”吗？
在文案、摘要或内部知识检索中，91% 往往已经是一个值得继续试点的成绩。但在配电容量、结构荷载、设备间距、管路压降等场景里，遗漏的那 9% 可能恰好决定整份交付物能否通过审查。
2026 年 11 月 3 日，Google Cloud AI Research 与 Mercor 发布 Physical-Engineering's Last Exam（PLE）。这个基准让 AI 智能体处理机械、电气、土木和结构工程中的长流程任务。公开结果出现了一个很有启发性的反差：领先配置平均满足了 91% 的单项约束，但只有 41.3% 的交付物通过了全部硬性安全与可行性检查。
这组数字提醒企业：在高后果业务中，AI“平均做对多少”与“最终交付是否可接受”，是两个不同的问题。
这次测试，难点不是回答工程知识题
PLE 共包含 85 项任务，覆盖机械、电气、土木和结构工程。每项任务平均提供 61 个文件，整个基准涉及 5,170 个文件，包括 PDF、电子表格、邮件、二维 CAD、三维 BIM 以及故意保留的过时版本。
智能体不只是回答一道题，而是要像接手真实项目一样：从混杂资料中判断哪个版本有效，找出适用规范和物理边界，完成计算，再生成可供持证工程师审查的交付物。
在当前隐藏测试集排行榜中，最高平均分为 48.3%。组织方还公布了 29 项公开任务、评分工具和评测容器，便于外部复现和改进。
这个结果不能被解读为“AI 不适合工程工作”。它更准确地说明：当前前沿智能体已经可以参与复杂工程流程，但距离无需监督地承担完整设计责任仍有明显差距。尤其值得企业关注的，不是模型偶尔能完成多难的任务，而是它能否稳定避开任何一个不可接受的错误。
平均正确率为什么会掩盖交付风险
企业评估 AI 时，常用一个总分概括效果：准确率、任务完成率、专家评分或节省时间比例。这些指标适合比较方案，却不一定适合批准上线。
一份工程交付通常包含三类要求：
这三类要求不能简单相加。方案即使在大量普通检查项上表现很好，只要漏掉一项关键载荷、选错一个图纸版本，或者使用了不适用的规范，优化得再漂亮也没有意义。
PLE 的评分逻辑因此很值得企业借鉴：设计只有通过全部硬性安全检查后，才有资格获得成本效率等优化分。换句话说，安全与可行性不是总分中的几个加分项，而是进入下一阶段的门票。
这套思路不只适用于物理工程。企业可以把它迁移到更多高后果流程：
- 硬约束：触犯任意一项就应判定不合格，例如法规、安全边界、物理可行性、权限范围和关键数据完整性；
- 业务完整性：是否覆盖全部需求、接口、工况和例外情形；
- 优化目标：在合格基础上进一步降低成本、材料用量、能耗或交付时间。
- 财务智能体可以起草凭证，但借贷平衡、授权额度和关账规则必须全部满足；
- 合同智能体可以优化措辞，但主体、金额、期限、管辖和禁用条款不能缺失；
- 客服智能体可以提高一次解决率，但退款权限、隐私披露和监管话术必须受硬约束；
- 运维智能体可以生成变更方案，但生产权限、回滚路径和隔离边界不能靠总体评分抵消。
企业需要两套分数，而不是一个排行榜分数
更稳妥的企业级评测，应当至少把“能力分”和“准入结果”分开。
能力分回答的是：哪个模型或智能体总体表现更好，在哪些任务上更擅长，成本与速度如何。它适合选型和持续优化。
准入结果回答的是：这一次输出是否满足所有不可妥协的条件，能否进入下一业务环节。它应当是清晰的通过或拒绝，并且能够说明失败在哪一条约束。
可以采用三层验收结构：
这里还有一个重要原则：不要只让另一个大模型为大模型“盖章”。语言模型可以辅助发现问题、解释差异和扩大测试覆盖，但能被公式、程序、仿真器、数据库约束或权限系统确定性验证的内容，应优先使用这些工具。最终责任属于专业人员的场景，则应保留明确的人工签署点。
- 验收层：核心问题：典型手段：结果用途
- 硬门槛：是否安全、合规、物理可行：规则引擎、确定性计算、仿真、权限校验：决定是否拒绝
- 任务完整性：是否完成全部业务要求：场景测试、专家量表、端到端回放：决定是否可交付
- 效率优化：是否更快、更省、更优：成本、延迟、材料或能耗指标：在合格方案中排序
ROI 必须扣除“验证预算”
很多 AI 项目只计算生成环节节省了多少时间，却没有计算审查、修复和追责所需的成本。
假设 AI 把初稿时间从八小时缩短到两小时，但工程师需要额外花七小时定位隐蔽错误、核对来源和重做计算，这并不是六小时的净收益。更糟的是，错误分散且不稳定时，审查者无法只检查固定区域，反而需要对整份交付物重新建立信任。
因此，企业应把“每份被接受交付物的总成本”作为核心指标：
模型与工具成本 + 人工审查时间 + 修复与重跑成本 + 失败造成的流程损失
与此配套，还应记录首次通过率、硬约束失败率、人工修改量、问题发现阶段以及同一任务多次运行的一致性。只有生成更快、验收也更轻，提效才真正发生。
从辅助起草到有限自治，要按后果逐级放权
企业不必等到模型“完美”才开始使用，但应让自治程度与错误后果相匹配。
第一阶段可以让 AI 整理资料、提取约束、生成备选方案和审查清单，由专业人员完成计算确认和最终决策。第二阶段让 AI 调用受控计算工具，并自动执行硬门槛检查，人员重点处理异常和边界条件。只有在任务边界稳定、失败可恢复、证据链完整且长期通过率达标后，才考虑在限定范围内自动执行。
每次交付最好同时生成一份可审计的“证据包”，至少包括：
这份证据包的价值并不只是合规。它让审查者能够快速定位风险，也让企业在模型、提示词、工具或底层资料变化后进行回归测试。
- 使用了哪些输入文件、版本和规范；
- 提取了哪些关键假设与约束；
- 调用了哪些计算工具，参数和结果是什么；
- 每项硬门槛如何验证，失败时如何阻断；
- 哪些内容由人工复核，谁完成了最终批准。
采购智能体时，先让供应商回答七个问题
对于准备引入工程、财务、法务或运维智能体的企业，演示效果远远不够。采购与试点阶段至少应问清：
企业级 AI 的竞争正在从“能否生成像样的答案”，转向“能否持续生成可验收、可追溯、可承担责任的结果”。PLE 把这个差别用一组直观数字暴露出来：多数单项做对，不等于整份交付合格。
真正专业的 AI 落地，不是用一个漂亮的平均分说服业务冒险，而是把不可妥协的边界写成系统能够执行的门槛，再让人、模型和确定性工具各自承担最合适的责任。
- 评测任务是否来自本企业的真实文件、异常和历史返工案例？
- 是否设置未向开发团队公开的测试集，防止针对样题优化？
- 是否单独报告“全部硬约束一次通过率”，而不只给平均分？
- 同一任务重复运行时，最差结果和波动范围是多少？
- 哪些检查由确定性工具完成，哪些依赖模型判断？
- 每份最终被业务接受的交付物，包含复核在内的总成本是多少？
- 模型、工具、知识库或规范更新后，如何触发回归验证和重新准入？
