大模型该站在哪一层:面向智能制造的 MARL 参考架构

智能制造的控制问题,常被简化成“上一个大模型智能体”。但车间里真正难的是协同:每台设备只看得到局部,系统级指标却由所有局部决策共同涌现;故障和插单要求秒级反应,后果却要到几小时后才显现。一篇题为《A MARL Centered Reference Architecture for Large Language Model Augmentation in Smart Manufacturing》的论文,先把这些约束摊开,再回答大模型到底该接在哪一层。

六个必须同时满足的约束

论文把现代制造对自适应控制的要求归纳为六条,并强调它们是“联合”施加的:局部决策产生全局后果;没有可用的全局状态,感知是局部的、信息有延迟,真实剩余加工时间、刀具磨损、隐性质量漂移甚至不可观测;系统本身非平稳,不只是噪声;既要反射速度,又要长周期质量;结果延迟且弥散,当下的派工决策可能几小时后在别处变成拥堵;动态关系难以显式建模,故障相关性、换型交互、人的差异都在漂移。

多智能体强化学习(MARL)被视为与这些要求最自然的匹配,尤其是把协同建模为 Dec-POMDP、采用集中训练分散执行的情形。论文因此以 MARL 为分析基准,追问大模型应当在何处增强、对接、参与训练,或者在最强竞争情形下替代自适应协调核心。

四个接入点

论文用一套分类学把文献中的大模型用法归到四个接入点:策略(policy)、奖励设计(reward design)、智能体间通信(communication)和分层规划(hierarchical planning)。这四类不是并列的技术模块,而是大模型进入系统的四种位置,各自改变不同的环节。

三层参考架构

论文的主贡献是一个按时间尺度和保障责任划分的三层架构。

第一层是语义推理,由选定的大模型配置实现,负责解释自然语言情境、分解目标、支持操作员交互,工作在较慢的规划节拍上。论文特别强调:它的输出只是“提案”,必须经过 grounding 与验证;自然语言给出的理由不能被假定为忠实。

第二层是自适应协同控制,由选定的 MARL 配置实现,在子目标条件下处理协调、信用分配和任务特定学习。它的延迟、鲁棒性和可复现性必须针对实际部署栈测量,不能从论文指标直接外推。

第三层是受保障执行,由经典控制器、运行时监控、动作约束,以及必要时独立认证的安全 PLC 构成,在明确假设下强制时序与安全属性。论文强调用“受保障”而不是“确定性”,因为确定性输出既不能证明运行可复现,也不能证明安全。

此外还有两个不构成独立层、只修改既有层的辅助接入点:奖励接入在部署前离线塑造第二层的训练目标;通信接入是第二层内部可选的自然语言通道,只有当每步决策预算足以吸收每一轮通信的大模型调用时才可行,否则应置空,退回常规数值通信。数字孪生则作为三层共享的底座,为规划、策略更新和运行时监控提供安全的训练与验证环境。

证据给出的分工,而不是口号

论文的结论相当克制:在现有证据下,经过任务训练的常规 MARL 更适合频繁、结构化、去中心化的协调;大模型组件则在语义解释、奖励起草、人机交互和较慢的监督规划上有前景。纯大模型的制造控制器,尚未在严格实时、去中心化、安全关键的控制上建立等效性。论文同时声明,这一结论受现有证据边界约束,并不主张“不可能”。

部署障碍也被逐项列出:大模型推理通常比毫秒到秒级的控制节拍慢一个数量级,纳入综述的九个制造应用中八个只在离散事件仿真中评估;连续动作空间与大模型离散 token 之间存在精度损失;制造场景缺少对大模型输出的形式化安全验证;按 token 计费的成本会随提示与回答长度增长,智能体式多步推理还会放大成本;隐私与数据驻留同样绕不开。

架构价值在于“可检验”

论文检查现有系统后发现,L2M2、语言引导的模式编队等只完整实现了第一、二层,GR00T N1 在单个具身智能体内部实现了快慢双系统,但没有多智能体协同意义上的第二层;尚无工作在同一个制造系统里同时实现三层加数字孪生。作者把这视为最直接的后续任务。

对工程团队而言,这套架构的真正用处不是选型标签,而是把争论变成可检验的问题:语义提案是否经过验证,协同策略的延迟是否测过,执行层是否有独立于学习组件的安全保障。三层各司其职,比“一个大模型管到底”更接近可交付的系统。

资料来源:A MARL Centered Reference Architecture for Large Language Model Augmentation in Smart Manufacturing — arXiv(2026)。本文为技术要点整理/编译,非原文全文。