眼、脑、手:工业 VLA 智能体如何从感知走到执行

工业生产发生在物理世界,这决定了工业智能体不能只是“会聊天的软件”。香港科技大学讲席教授贾佳亚在《光明日报》的文章里,把工业智能体的能力拆成“眼—脑—手”三个模块,并给出一个判断:行业正从单点技术适配,走向深度融合产线、以效率和质量的实战阶段;真正的分水岭不是演示效果,而是能否做到“生产可靠”。

从“辅助工具”到“智能主体”

过去十年,机器学习和计算机视觉在缺陷识别、工艺监控上已经成熟,但角色仍是“发现问题”。制造场景变复杂之后,传统 AI 难以支撑智能制造,新一代智能体推动系统从感知智能走向决策智能。文章认为,核心支撑是融合“多模态感知 + 具身控制”的 VLA(视觉—语言—动作)模型:它把多模态感知、语义理解与物理控制放进统一架构,并融合工艺参数、质量标准和物理约束,从而能根据自然语言指令或视觉输入直接生成动作序列。

这也是工业智能体必须有“身体”的原因。与软件智能体不同,它要在开放、非结构化的现场实时交互,因此需要三个功能模块:智能传感器做“眼”,多模态大模型或 VLA 做“脑”,机械臂等硬件载体做“手”。

眼:极端成像条件下的稳定感知

“眼”的难点不是拍得清,而是在金属反光、透明材质、低对比度等条件下仍然稳定。文章介绍的做法是深度融合多光谱成像、偏振视觉与 AI,做出具备边缘计算能力的智能视觉传感器系列,可在微秒级完成特征提取与缺陷识别。这里的关键词是“边缘”:把特征提取放在传感器侧,减少传输与云端往返,才能跟上产线节拍。

脑:把工业机理嵌进多模态大模型

“脑”的突破点不是把通用大模型搬进工厂,而是把认知能力与工业机理结合。文章给出的框架是“知识嵌入 + 强化学习”:把物理定律、工艺标准嵌入决策过程,使智能体不仅能识别缺陷,还能解析成因、预测设备劣化,并生成“物理上成立、控制上可行”的动作指令。这一层决定了智能体是“描述现象”,还是“给出可执行方案”。

手:柔顺控制连接决策与动作

“手”负责把数字决策变成物理动作。文章提到基于多模态感知的柔顺控制算法,让执行端实时感知力觉与视觉反馈,动态调整抓取力度和运动轨迹;即使工件存在位置偏差或形变,仍能完成精密装配、柔性插拔等复杂任务。对装配场景而言,这往往比“抓起来”更难:力度过大伤件,过小打滑,轨迹还要随形变实时修正。

协同不是拼接,案例在高铁

文章强调,“眼—脑—手”的协同不是静态技术拼接,而是动态的自治进化:能根据产线变化自主调整感知重点、优化决策策略、适配执行能力。这套协同同时面对跨模态、跨系统的技术壁垒,以及物理世界与数字世界之间的认知鸿沟。

落地案例是磁粉探伤。团队联合中国中车、思谋科技研发新一代工业智能体,解决高铁车身超过一万个点位的外观检测难题和转向架无损质量检测难题,开创了高铁转向架等关键安全部件使用 AI 检测的先河,并实现大规模落地应用。文章把这条路径概括为“产学研用”:把产线痛点转化为科学问题,再把成果快速放回工业场景验证。

结语

这篇文章没有给出模型参数、数据集规模或精度数字,它提供的是架构视角:工业智能体的竞争力,取决于感知、决策、执行三个模块能否在真实工况下闭环,而不是某一项指标的单项领先。从“执行指令”到“自主决策”、从“单点智能”到“生态协同”,仍需要基础科学突破与工程化耐心同时到位。

资料来源:“人工智能+”制造:加速推进新型工业化的强大引擎 — 光明日报(2025-10-02,作者贾佳亚)。本文为技术要点整理,非原文全文。