拧螺丝背后的隐性知识:LAG 加主动推理写进知识图谱

维修手册写着“把盖住连接器的支架放回去”,却没写要用镊子;老师傅一看就懂,新手照做就卡住。这类“知道怎么做、说不清为什么”的隐性知识,正是工业知识工程最难啃的部分。这篇 arXiv 论文提出一个神经符号框架:用逻辑增强生成(LAG)先把显式流程抽成受本体约束的知识图谱,再用一套受主动推理启发的推理流程,把隐含的工具、工件、假设、警告和上下文约束补进图里。

先给流程一个本体

本体以 Process 为核心,一个流程由有序的 Step 组成,用 nextStep、prevStep、firstStep 等关系串起来;每个步骤含若干 Operation(拧、拔、撬、清洁等原子动作),动作通过 affectsArtifact 指向受影响的工件,通过 Tool 记录所需工具。Goal 表示目标,OperationSpecification 承载扭矩、材料、安全说明这类定性定量约束。Content、ContentFragment 则把视频、图片、文本、音频的片段与流程实体连起来,保证每条知识都能追到原始出处。

拧螺丝背后的隐性知识:LAG 加主动推理写进知识图谱

LAG:让模型只填本体允许的槽

输入是本体的 Turtle 定义、源材料(视频或其转写)和提示词。提示词要求模型只生成本体允许的个体,不得新增类或属性;输出是实例化本体的 Turtle 文件,再用 SHACL 形状约束校验结构,检查是否缺了 Step、Artifact 这类基础类,通过后装入 GraphDB,供 SPARQL 查询。这样做的效果是结构合规性极稳:所有被测模型产出的图都合法、无越界类与属性,工具和工件的精确率一律是 1.00,没有凭空捏造的实体。

代价是召回:只靠转写时,工具召回在 0.57–0.81,工件召回在 0.50–0.81;能看视频的模型更好,最高到 0.94 和 0.90,但也不是必然——Gemini 3.1 Pro 看视频时工件召回只有 0.59。漏掉的往往是画面里演示了、嘴里没说的东西。

拧螺丝背后的隐性知识:LAG 加主动推理写进知识图谱

主动推理:把“必须存在”的东西推出来

补全流程分四步:观察阶段列出输入里显式出现的动作、实体、目标和位置;隐状态推断阶段问“要让这些动作在物理上成立,还必须有什么”;策略重建阶段把每一步拆成保持物理与流程连贯的子动作;可供性推理阶段根据动作反推工具与工件——要拧、要开、要对齐,就需要相应的器具。每个推断出的元素都要附上支撑它的先验信念(依据哪条通用维修套路),并给出置信度;推断内容与直接观察在图里分开存放,便于人工核验。

效果按输入模态分得很清楚:纯转写模型工具召回提升 0.21–0.38、工件召回提升 0.19–0.41;多模态模型的工件召回还能再涨 0.34。补全后所有模型的 F1 都超过 0.95,视频模式的 Gemini 2.5 Flash 最高(工具 0.989、工件 0.994),纯转写里 Claude Opus 4.6 最好(0.978 与 0.971)。成本也有意思:Gemini 2.5 Flash 全流程约 5.18 美元/小时,反而最便宜且效果最好;开源的 Gemma 4 31b 召回 0.915 与 0.909,不付 API 费,适合对数据治理和本地部署更敏感的场景。

作者用 iFixit 的维修视频作代理数据集(三台设备、90 多个标注动作、每个配置重复五次),因为公开的工业装配视频太少。该方法已在 KnowledgeX 项目中用于真实制造知识转移,展示的场景是电主轴装配现场与对应的增强现实访问环境。

这篇的启发是:知识图谱的瓶颈不在“抽得多”,而在“缺的那些是否被显式标注为推断”。把观察与推断分开、给推断留置信度和理由,才敢让图谱去指导人。

资料来源:Tacit Knowledge Extraction via Logic Augmented Generation and Active Inference — arXiv(2026-05)。本文为技术要点整理/编译,非原文全文。