文档与实践之间:PIMS智能体把专家记录炼成技能包

在炼厂排产软件 AspenTech PIMS 里,“把柴油价格提到 148 美元/桶”不是一句话,而是一组结构化修改:柴油对应行标签 DSL,价格要改 PRICE 列,而不是看起来更自然的 COST。停 FCC 时只把 CAPS 置零往往不可行,还要改 SLPR 收率行、BLNMIX 调和列和采购上限,并把 MIN 与 MAX 都置零。一条短指令,背后是几张互锁的表。

文档与实践之间:PIMS智能体把专家记录炼成技能包

三类知识,各缺一角

PIMS 用 85 张互锁表表达排产模型,通过 CASE 接口修改。所需知识分散在三处,每处都不完整。文档覆盖表结构、列语义、数据类型和接口约定,但按组件组织,不按任务组织;专家 CASE 记录能看出哪些表被一起改,却不解释为什么,也不带 schema 约束;COM 规范给出可执行方法,却不含排产逻辑。作者把这种源间不对称称为“文档—实践差”(Documentation–Practice Gap)。

三者只能分工:专家记录提任务级假设,文档把假设落到合法的表、列和接口上,执行反馈再揭示静态资料没写的约束。

四阶段流水线

第一阶段建接地层。把 3,126 个帮助页面解析成 85 张表的 schema、列语义与取值范围,以及 COM 方法签名和执行状态规则;这一层只提供校验约束,不生成业务规则。

第二阶段做跨源模式提取。先从演示模型自带的 CASE 记录里抽“共改表集合”:Weight Sample 有 6 条非空记录,Gulf Coast 有 317 条。这些只是候选假设,不是规则,单模型最多覆盖 5 张表。再用文档扩展开来:核对表名列名类型是否合法,抽取表内规则(例如 PROCLIM 必须同时给 MIN 和 MAX),

第三阶段稳定接口。把 174 个 COM 方法封装成 Python 可调用函数,设计 61 个用例覆盖 10 类功能,8 轮迭代后 50 个可执行用例全过,11 个因 PIMS v22.0.11 不支持而跳过,。

第四阶段做结构化精修。初始技能库有 47 篇文档,分三层:L0 元技能约 200 token,管依赖意识与格式;L1 领域技能 500 至 1500 token,给依赖图与操作规则;L2 任务技能约 2000 token,写业务步骤。渐进披露让智能体先只加载约 8.5KB 的技能索引,正文按需再取。

精修分三层诊断。第一层是合规筛查,用格式合法性和求解器是否收敛两个二值信号,不需要标准答案;格式失败说明指导有问题,不收敛说明规则生成了不可行方案。第二层是结构化比对,把正确性分解成表、行、列、值的组件匹配 F1、表 F1、行召回和列召回;表分低说明多改或漏改表,列召回低说明操作映射到了错误的列。第三层是信号条件下的轨迹归因,用“查过哪些技能、工具调用顺序、读了什么、时序”把候选修复范围收窄到具体技能文档。作者明确这只是定位启发,不主张因果。修复只做加、改、删、约束四类局部操作,跑 5 轮,留出测试集不参与。

结果:编译成技能比堆文档有效

评测集 PIMS-Bench 有 140 道题,每个模型 70 道,五个复杂度等级各 28 道,覆盖 31 张表和 4 个 CASE 关键字,其中 100 道留作测试。四个后端是 DeepSeek-V4-Pro、DeepSeek-V4-Flash、Gemma-4-31B 和 Qwen-3.6-27B,统一用 ReAct 式智能体。

只给原始文档的 DocOnly 相对基线变化为 +0.039、+0.020、+0.033、-0.025,方向都不稳定;把证据编译成任务导向技能包的 SkillBase 稳定提升 0.074 至 0.122;再加执行反馈精修的 SkillRefine 又提升 0.052 至 0.174。相对基线,SkillRefine 的组件匹配 F1 分别提升 0.189、0.139、0.180 和 0.296,列召回提升 0.087 至 0.225,说明最细的列名知识收益最大。

复杂度越高,优势越大:L1 至 L2 领先基线 10 至 15 个百分点,L3 至 L5 拉开 18 至 28 个百分点。

边界:实验只覆盖 PIMS v22.0.11 和两个演示模型,构建题与测试题共享 schema,证明的是环境内泛化,不是迁移到未见过的炼厂模型。但“专家记录当假设、文档当约束、执行当裁判”的分工,对排产、仿真、MES 软件同样成立:智能体缺的常是文档里没写的协调知识。

资料来源:SkillRefine: Cross-Source Skill Induction and Execution Validation for LLM Agents in Refinery Planning Software — arXiv(2026-09)。本文为技术要点整理/编译,非原文全文。