自然语言指挥工业机器人,难点不在“听懂”,而在“保证做得到”。大模型可以生成看似合理的装配结构,却可能违反重力约束、让机械臂碰撞,或给出不可达的抓取位姿;传统任务与运动规划(TAMP)能给出形式化保证,却读不懂自由文本。这篇论文把两者拆成明确分工:语言理解与结构生成交给神经网络,验证、排序与执行交给确定性符号工具。

从 PGE 到 SDI:把“评审”换成符号验证器
软件工程里常用 Planner-Generator-Evaluator(PGE)套壳模式,用确定性脚手架包住 LLM 调用。作者把它改造成面向工业机器人的 Specifier-Designer-Inspector(SDI)三角色:Specifier 负责把含混的自然语言指令结构化,Designer 生成目标结构的几何布局,Inspector 用约束求解器做物理可行性验证,替代原来由 LLM 担任的“评审员”。三者通过 LangGraph 做动态路由,正常路径固定,只有失败时才让模型决定往哪回退。
分工的关键是“LLM 只在需要语言或上下文推理的地方出现”。装配顺序、碰撞检查、运动学可达性、执行控制全部是确定性的;数字孪生用 Unity3D 搭建,人在物理执行前可以查看、拖动修改布局,再触发一次自动复验。

两层恢复:结构重排与几何补救
失败恢复分两级。结构级失败——例如布局本身导致封闭空间或密集堆叠——由上下文感知的编排器回到设计层重排;执行级失败——运动规划报错——由领域几何恢复技能处理,论文给出的例子是“压平”和“平移”两类确定性动作。两层都接回数字孪生复验,必要时请人修正。消融显示,没有 LangGraph 路由时,C 组任务成功率降到83.3%;规则编排和固定 PGE 编排在注入故障后分别只恢复5/10和2/10,而带 LangGraph 路由的版本恢复到9–10/10。
70条指令与十条基线的对照
评测覆盖70条自然语言指令、五个难度等级,并与十种基线比较。完整系统成功率为100%;纯神经基线在开放式大规模任务上低于90%;纯符号流水线则根本无法接收自由文本。消融还给出两个具体数字:去掉 Specifier,D 组降到95.5%;去掉 LangGraph,C 组降到83.3%。工具集更大的 SAMS 为93.1%,并未稳定超过 SASS 的91.4%,作者据此认为,结构化的多智能体编排比单纯堆工具更能决定复杂任务表现。
代价也很直接:由于多智能体通信和 LLM 调用,平均每条指令耗时85.3秒;系统目前假设供料区位置已知,尚未接入视觉定位。作者把异构零件、视觉定位和自适应技能选择列为下一步。对工厂而言,这套架构的可借鉴之处不是“让大模型控制机器人”,而是把大模型的角色压缩到语言与布局建议,把安全相关的判断留给可验证的符号层。
资料来源:Agentic Neuro–Symbolic Planning and Commissioning for Human-in-the-Loop Industrial Robotics with Digital Twins — arXiv(2026-06-06)。本文为技术要点整理/编译,非原文全文。