工业问答和开放域聊天不是一回事。设备故障诊断、化工安全规程这类场景，一次幻觉就可能对应现实事故。但要把大模型放到边缘侧，又受显存和延迟限制。知识蒸馏本是折中方案，难点在于：传统单教师蒸馏往往只传答案、不传推理，学生模型“知道结论，不知道为什么”；多智能体辩论能加深推理，却可能无限迭代，决策过程还是黑箱，缺少可验证的外部锚点。
把蒸馏改写成马尔可夫决策过程
论文提出的KG-MASD（知识图谱引导的多智能体系统蒸馏），核心是换一个视角：蒸馏不是在固定数据集上模仿输出，而是一个由知识引导的协同决策过程。形式化上，状态包含三部分——查询q、检索到的上下文C、以及智能体到目前为止生成的三元组集合Z；动作是选择某个专门智能体去提出或校验新三元组；奖励衡量当前答案的正确性。每轮状态更新都在丰富语义锚定，作者还用“先验质量指数γ”刻画三元组对答案的归一化条件互信息，γ越高，学生越容易收敛到领域一致的输出。
五个智能体，一道校验关
流水线先用GraphRAG从原始工业文档片段构建全局知识图谱，然后五个角色接力：KG Master负责拆解问题并扩展关系；Entity Extractor与Relation Extractor分别推断实体和候选关系；KR Distiller把它们聚合成局部三元组；Verifier检查正确性，不合格的打回重做。校验通过的三元组被整理成小规模局部图谱，并据此构造指令微调数据——每条样本都显式锚定在已验证三元组上。最后用LoRA把教师模型的推理能力与全局图谱知识蒸馏进小模型。
实现细节不算复杂：教师是多智能体系统里的DeepSeek-V2，学生是Qwen2-7B与Llama3.1-8B；LoRA rank 16、alpha 64、学习率2e-5、批大小64、训练5轮；全部实验跑在两张3090上。评价除准确率外，还用BLEU-4、ROUGE-1/2/L衡量生成质量。
提升2.4到20.1个百分点，消融指向图谱
在作者自建的工业问答数据集上，KG-MASD相对逐步蒸馏、普通微调、上下文学习和零样本推理等基线，准确率提升2.4%–20.1%，可靠性指标同步改善。消融实验（Qwen2-7B）显示，去掉全局图谱或局部图谱，多项指标都明显下降——说明结构化先验确实是迁移生效的关键，而不只是多了一层提示。
数据可信度也被单独量化：KG-MASD-KGC生成2468条关系三元组、1160种关系、3686个实体；RTE模式生成2454条三元组、1148种关系、3694个实体，均多于对比方法。作者进一步发现，三元组抽取准确率直接决定蒸馏效果：低可信三元组带来噪声监督，高可信、经校验的三元组才同时提升自动指标与人工评价。
这套方法的价值不在“又一个蒸馏技巧”，而在把可验证性写进了流程：学生继承的不只是教师的推理路径，还有一张能指认事实来源的图谱。对安全关键的工业问答，这比多考几分更重要。
资料来源：Knowledge Graph-Guided Multi-Agent Distillation for Reliable Industrial Question Answering with Datasets — arXiv（2025）。本文为技术要点整理/编译，非原文全文。