随着人工智能技术的发展和普及,企业不仅需要向数字化转型,更需要向知识化转型。知识图谱由实体、关系和属性组成,是承载企业知识、化解知识挖掘与管理难题的重要数据结构。本文根据华为云自然语言处理技术专家郑毅在华为开发者大会 2020(Cloud)DevRun Live 开发者沙龙中分享的内容整理,介绍知识图谱的基本概念、构建流程与关键方法。
知识图谱的基本概念与分类
知识图谱是由实体、关系和属性组成的一种数据结构。以人物与电影为例:“刘德华”是人物类型的实体,身高、国籍等信息是其属性;“无间道”是电影类型的实体,两者之间通过“主演”关系连接。通过实体、关系与属性,可以把人可以理解的知识有效组织起来。知识图谱的构建与应用涉及数据库、自然语言处理(NLP)和语义网络等技术。按用途划分,知识图谱可分为通用知识图谱与行业知识图谱:通用知识图谱侧重构建常识性知识,用于搜索引擎和推荐系统等;行业知识图谱(也称企业知识图谱)主要面向企业业务,通过对不同行业、企业的知识建模,对内提供知识化服务。相关云服务可用于上述两类图谱的构建、管理与服务,并更侧重企业知识图谱。
自顶向下的构建流程
知识图谱构建主要分为自顶向下(top-down)与自底向上(bottom-up)两种方式。自顶向下需要先定义好本体(Ontology,也称 Schema),再基于输入数据完成从信息抽取到图谱构建的过程,更适用于专业知识图谱,如企业知识图谱;自底向上则从开放链接数据中抽取置信度高的知识,或从非结构化文本中抽取知识,更适用于常识性知识。目前业界尚无统一标准的自顶向下构建流程,主流做法是以解决方案形式为客户定制构建,成本高、周期长。为此,相关云服务将图谱构建抽象为流水线式的五个基本环节:本体构建、数据源配置、信息抽取、知识映射以及知识融合,并把每个流程模块抽象成插件,通过组合配置生成构建任务。基于流水线设计,只需修改数据源即可完成图谱更新,非常适用于需要频繁更新的知识图谱。
关键方法:信息抽取与知识融合
本体的构建与设计对知识图谱至关重要,本体是图谱的模型,是对图谱数据的一种模式约束。企业知识图谱的本体一般由垂直领域行业专家与知识图谱专家合作完成,可基于领域知识、术语词典与专家人工经验,结合应用场景确定实体类别、类别之间的关系以及实体包含的属性定义。配置数据源前需对多类型、多格式数据做初步整理,例如对本地非电子化文档先扫描电子化,并结合光学字符识别(OCR)转换为文本文档。信息抽取是最关键的一环,其质量决定知识图谱的质量:实体之间的关系与实体的属性值都可以用三元组(主语、谓词、宾语)表示,因此信息抽取也可称为三元组抽取。云服务支持基于机器阅读理解(MRC)的三元组抽取方法,采用多轮对话思想,先抽取主语(Subject),再根据抽取结果与候选谓词对应的模板构造问句抽取宾语(Object),最终组成三元组。知识融合则是对多个数据源抽取的大量三元组进行对齐合并,例如把不同百科中的同一人物识别并合并为一个实体;考虑到基于联合表征的深度学习框架依赖大量标注数据且模型与行业强相关、通用化能力有限,当前服务支持基于实体属性相似度的框架,通过定义相似度度量及组合完成实体对齐。
存储方式与行业应用
图谱构建完成会产生大量三元组知识,最直接的存储方式是表格式存储,如关系型数据表以三列或多列形式存储三元组,在图谱规模较小时可行。但当规模变大后,例如查询“两位影星共同演过的电影中年龄最大的导演是谁”,就需要对关系表做 2 到 3 次自连接,在千万、亿乃至十亿级三元组规模下查询效率极低。因此业界主流采用图数据库方式存储知识图谱,直接把数据或知识以图的形式存储,可以非常高效地完成多跳关系与属性查询,并提供多种预置的图深度学习算法。在行业实践方面,中国石油基于云服务的知识建模、油气图谱构建、图谱存储、自然语言处理、机器学习等能力,构建了油气知识计算平台,以油气勘探开发数据为基础,为增储上产、降本增效提供智能辅助和决策,体现了知识计算在各行业中的智能化价值。
小结
知识图谱以实体、关系和属性组织知识,其构建可按通用与行业两类用途选择策略。面向企业场景的自顶向下构建可拆解为本体构建、数据源配置、信息抽取、知识映射与知识融合五个环节,并通过插件化组合适配不同领域;信息抽取的质量决定图谱质量,基于机器阅读理解的三元组抽取与基于属性相似度的知识融合是其中的关键技术;在存储层面,图数据库相较表格式存储更适合大规模、多跳查询的知识图谱。
参考来源
本文根据 前沿技术探秘:知识图谱构建流程及方法 等公开资料整理,版权归原作者与原媒体所有。