问答系统研究综述.pdf

问答系统研究综述闫悦1,郭晓然2,王铁君2,饶强1,王铠杰11(西北民族大学中国民族信息技术研究院,兰州730030)2(西北民族大学数学与计算机科学学院,兰州730124)通信作者:王铁君,E-mail:摘要:问答系统是人工智能和自然语言处理领域中具有广泛发展前景的研究方向之一.早期的问答系统限定以自然语言形式进行提问和回答,近年来,随着多模态知识图谱、多模态预训练模型的发展,支持文字、图片、音频、视频等多种模态间信息查询的广义问答系统逐渐成为新的研究热点,其以多媒体方式展示结果,更加直观、全面.本文根据问答系统任务对象的变化,将问答系统划分为 3 种类型:专用问答系统、通用问答系统和多模态问答系统.分析了这 3 种类型的问答系统发展过程中所面临的问题,着重总结每个阶段所采用的关键技术与方法,同时对问答系统在工业上的应用进行了举例说明,并对未来研究方向进行了展望.关键词:问答系统;问题分析;信息检索;答案生成;智能问答引用格式:闫悦,郭晓然,王铁君,饶强,王铠杰.问答系统研究综述.计算机系统应用,2023,32(8):118.http:/www.c-s- on Question Answering System ResearchYANYue1,GUOXiao-Ran2,WANGTie-Jun2,RAOQiang1,WANGKai-Jie11(ChinaNationalInformationTechnologyResearchInstitute,NorthwestMinzuUniversity,Lanzhou730030,China)2(SchoolofMathematicsandComputerScience,NorthwestMinzuUniversity,Lanzhou730124,China)Abstract:Thequestionanswering(Q&A)systemisoneofthepromisingresearchdirectionsinthefieldofartificialintelligenceandnaturallanguageprocessing.EarlyQ&Asystemscanonlyaskandanswerintheformofnaturallanguage.Inrecentyears,withthedevelopmentofmultimodalknowledgegraphsandmultimodalpre-trainingmodels,generalizedQ&Asystemssupportinginformationqueriesofmultiplemodessuchastext,image,audio,andvideohavegraduallybecomeanewresearchhotspot,andtheirdisplayofresultsinamultimediamannerismoreintuitiveandcomprehensive.ThisstudyclassifiesQ&Asystemsintothreetypesaccordingtotheirchangingtaskobjects:dedicatedQ&Asystems,generalQ&Asystems,andmultimodalQ&Asystems.TheproblemsfacedinthedevelopmentofthesethreetypesofQ&Asystemsareanalyzed,andthekeytechnologiesandmethodsusedineachstagearehighlightedandsummarized.Inaddition,theindustrialapplicationsofQ&Asystemsareexemplified,andfutureresearchdirectionsareprospected.Key words:questionanswering(Q&A)system;questionanalysis;informationretrieval;answerextraction;intelligentquestionanswering1引言问答系统是信息检索领域长期以来的研究重点,通常使用自然语言形式的句子进行提问,结合上下文语境为用户返回精准、可靠的答案,改善用户的搜索计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(8):118doi:10.15888/ki.csa.009208http:/www.c-s-中国科学院软件研究所版权所有.Tel:[phone]基金项目:国家自然科学基金(62166035);甘肃省自然科学基金(21JR7RA163);中央高校基本科研业务费(31920210090)收稿时间:2023-01-10;修改时间:2023-03-08;采用时间:2023-03-23;csa 在线出版时间:2023-06-09CNKI 网络首发时间:2023-06-12SpecialIssue专论综述1体验.广义的问答系统不再仅局限于自然语言形式的问题和答案,也支持用户输入图片、视频、音频等多媒体信息进行查询,以多媒体形式展示答案,例如:微软小冰1所提供的图片评论功能是对用户发出的图片进行回答;阿里小蜜机器人2在电商直播时担任虚拟主播和智能辅播,可提供文字、图片、视频等多模态的商品展示和回复.随着人工智能和深度学习的发展,面对复杂问题时,期望能够模仿人类运用不同模态的信息,形成一个完整的思维链,因此对多模态知识图谱、多模态预训练模型3和多模态问答系统等诸多方面提出了新挑战.1.1 问答系统的定义早期的问答系统主要利用信息检索技术在对应知识库中找到合适的信息4,属于狭义的问答系统,被定义为一个利用计算机等自动化机器回答自然语言问题的系统5,即问题和答案只有自然语言一种模态.广义问答系统被重新定义6,7,允许用户输入任意模态信息,通过提取用户输入内容中的关键信息,给出问题所对应的准确答案.例如,用户可以提问“燕子的特征是什么?”,也可以输入一张燕子图片,提问“这个动物的特征是什么?”,系统都应该返回一个精准的答案.1.2 问答系统的处理框架狭义的问答系统处理框架主要包括问题分析、信息检索、答案抽取 3 个部分.添加其他模态信息后,问答系统的框架发生变化,问题分析阶段需对文本、图像、音视频信息进行特征提取,之后将多种模态信息进行融合,目的是将多个特征映射到同一个空间中,最后根据融合的信息进行答案生成,框架如图 1 所示.答案抽取文本图像音视频对象识别特征提取目标检测场景分类问题分析信息检索信息融合文本和图像信息文本和音视频信息文本模态多模态实体识别关系抽取问句分类文档检索模板匹配语义解析段落划分模板匹配信息抽取统计模型深度学习答案生成注意力机制解码器分类器知识库检索图 1问答系统的处理框架 1.3 问答系统的发展脉络问答系统概念的提出可追溯到 20 世纪 50 年代图灵测试的提出,发展到如今的多模态问答系统,前后经历了 8 个阶段,每个阶段所处理的数据格式和形式不同,具体应用也有所不同,如表 1 所示.目前有许多研究人员针对问答系统的不同方面进行了综述,陈子睿等人8针对开放领域知识图谱问答方法进行了总结;冯钧等人9对问答系统中的复杂问题进行了总结;姚元杰等人10对问答系统中运用的深度学习方法进行了总结.经过技术的不断发展,本文根据任务对象将问答系统 8 个阶段划分为专用问答系统、通用问答系统和多模态问答系统 3 种类型.接下来,围绕不同类型问答系统所涉及的关键理论技术进行介绍.2专用问答系统文中将任务对象为限定领域、结构化文本数据的问答系统统称为专用问答系统.这一类问答系统是对问答系统这一概念的初提出与初实践,由于当时的网络不是很发达,受数据集内容与数量的限制,留下的有代表性的问答系统多限定在某一领域.计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第8期2专论综述SpecialIssue表 1问答系统发展脉络类型发展时期任务对象相关应用专用问答系统图灵测试(20世纪50年代)测定机器是否具有人工智能的方法AI时期(20世纪60、70年代)限定领域、结构化数据Baseball系统Lunar系统计算语言学阶段(20世纪80年代)限定领域、结构化数据UnixConsultant(UC)通用问答系统基于大规模文档集的问答系统(20世纪90年代)开放领域、电子文档聊天机器人ALICE问答系统评测专项基于问题答案对的问答系统(21世纪00年代)开放领域、问题答案对百度的AnyQ腾讯知文结构化FAQ问答引擎基于知识图谱的问答系统(21世纪10年代)开放领域、结构化数据GoogleKnowledgeGraphAmazon知识图谱基于大规模语言模型的问答系统(21世纪20年代)开放领域、非结构化数据ChatGPT多模态问答系统多模态问答系统(21世纪20年代)文本、图像、视频、音频阿里小蜜机器人微软小冰灵医小智 2.1 图灵测试图灵测试最早来源于 1950 年图灵发表的一篇名为“ComputingMachineryandIntelligence”11的论文中.图灵专注于研究计算机可否像人一样进行交谈,提出了测定机器是否具有人工智能的一套方法图灵测试,它是人工智能最初的概念,甚至早于“人工智能”这个词本身.图灵测试采用“问”与“答”的模式,即观察者通过控制打字机和测试对象通话,观察者不断提出各种问题,从而辨别回答者是人还是机器.围绕图灵测试展开的研究历程如图 2 所示.图灵测试所使用的“问”与“答”的测试方法,是问答系统最早的研究理论.2.2 AI 时期问答系统的雏形最早出现在 20 世纪 60 年代,主要研究内容是如何使用自然语言检索结构化数据库.这一时期有两个比较著名的系统 Baseball12和 Lunar13.Baseball 系统是最早以“未来的人机交互将以自然语言进行交流的方式”为目标构建的系统,用于回答用户通过自然语言提出的关于棒球联赛问题.Lunar 是在 NASA载人航天器中心的支持下开发,使月球地质学家无需学习编程语言和数据库的相关指令,直接使用自然语言就能访问检索 NASA 数据库.Lunar 系统示意图如图 3 所示,主要由 3 个部分组成:第 1 部分用于将自然英语按照语法生成机器可理解的句法树;第 2 部分的语义解释组件将句法表示进行转换,对句子进行意图理解.数据库检索和推理组件用于根据句子含义对数据库进行计算和检索;第 3 部分确定查询的答案并根据结果对数据库进行更改.1936 年 哲学家阿尔弗雷德艾耶尔在语言真理与逻辑中提出有意识的人类及无意识的机器之间的区别.1950 年 图灵发表了一篇划时代的论文,提出图灵测试.1966 年 麻省理工学院的教授约瑟夫维森鲍姆发明了一个人机对话程序,名叫伊莱扎(ELIZA),可以像真人一样与人交流几十分钟.2014 年 雷丁大学在伦敦进行了一场图灵比赛.一台名叫尤金古斯特曼的聊天机器人,成为有史以来首台通过图灵测试的计算机.2015 年 Science杂志封面刊登了一篇重磅研究:人工智能终于能像人类一样学习,并通过了图灵测试.图 2图灵测试研究历程以上两个系统都需要依赖人工撰写的规则模板,完成从自然语言问题到结构化数据库查询语句的转换.这些早期系统大多针对特定领域,处理的数据规模不大且为结构化数据.这一时期还出现了一些可以进行对话的问答系统,比如 ELIZA(心理咨询)14、SHRDLU(积木游戏)15、GUS(旅行信息咨询)16.随着人们在探索问答系统中对句法和语义问题的理解不断加深,问答系统的发展在 20 世纪 80 年代进入了计算语言学时期.2.3 计算语言学时期这一时期的问答系统更加关注于解决事实类型的2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SpecialIssue专论综述3问题,任务对象为限定领域和结构化文本数据,代表系统为 UC 系统17.UC 提供一个智能、自然的语言界面,让用户用英语与系统交流来了解 Unix 操作系统.研究者们将其称为“智能帮助设施”,具体指建立一个系统模拟人类顾问的实际功能.它具备了分析用户的语言、确定用户操作的目标、给出解决用户需求的规划、决定需要与用户沟通的内容、以英语生成最终的对话内容以及根据用户对 Unix 系统的熟悉程度进行建模等功能.UC的框架由大量组件组成,组件之间大多以串行的方式调用,功能如图 4 所示.这一时期问答系统的处理流程已具备雏形,首先分析用户的问题,了解用户的意图,然后获取有关用户问题主题的知识,最后制定合理的回答并将答案返回给用户.通用语法和解析器规则驱动的语义解释组件数据库检索和推理组件数据库语言理解组件第 1 部分第 2 部分第 3 部分图 3Lunar 系统组成部分UC分析用户的语言确定用户操作的目标给出解决用户需求的规划决定需要与用户沟通的内容以英语生成最终的对话内容根据用户对 Unix 系统的熟悉程度进行建模图 4UC 的功能3通用问答系统经历了上一阶段的专用问答系统后,之后的研究对象大多为开放领域且在这一阶段的研究内容现在还在工业界或者学术界流通使用,所以本文将基于大规模文档集的问答系统、基于问题答案对的问答系统、基于知识图谱的问答系统和基于大规模语言模型的问答系统归类为通用问答系统,其特点为信息量大且不再限定信息领域.3.1 基于大规模文档集的问答系统20 世纪 90 年代,问答系统的发展进入了基于大规模文档集的问答系统时期.这一时期互联网快速发展,产生了大量的电子文档,数据的格式不再是固定的结构化数据,问答系统的流程为从用户的自然语言问句中获取主题词,利用主题词在网络文档中搜索相关的文档,如图 5 所示.问句分类主题提取文本库网页文档检索段落划分候选答案抽取答案排序答案验证问题答案图 5基于大规模文档集的问答系统处理流程1995 年 Wallace 开发设计了第 1 个聊天机器人ALICE18.ALICE 的知识库由 AIML(artificialintelligencemarkuplanguage)语言编写的文件组成,每个 AIML 文件代表一个领域的可能话题.ALICE 的推理机制是将AIML 知识库以树的结构形式加载到内存中形成内存知识树.当用户输入要查询的句子时,ALICE 系统在这棵内存知识树中检索与用户输入语句最匹配的模式,如果匹配到则对答复模板进行进一步处理后回复给用户.这一时期问答系统研究的基本问题是问题分析、信息检索和答案抽取.下面将针对这 3 个问题对基于大规模文档集的问答系统的相关研究进行综述.3.1.1问题分析问题分析主要是对问句进行分析,理解用户问题,为信息检索做准备,通常将问句分类和主题提取用于分析问题.(1)问句分类.问句分类是在给定问句的情况下,将用户问题分类到已规定的或自定义的分类结构中一个或几个类.这一时期对问句分类的主要方法分为基于规则的分类方法和机器学习的方法,最初 Lehnert 等人19将问句分为了 13 个概念类,但这样的分类方式在事实问题上不适用,为解决这一问题,Li 等人20利用计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第8期4专论综述SpecialIssue一种分类的机器学习方法,将问题分为 6 个大类,同时在这 6 个大类下又细分 50 个小类,该方法较好满足了人们的需求.2002 年,Magnini 等人21利用规则的分类方法,在 DIOGENE 系统中用一组手动定义的分类规则,对问句进行分类,可以正确对问句进行处理.近年来问句分类主要是基于深度学习的方法,利用 CNN 模型、LSTM 模型、BERT 模型进行,Xiao 等人22利用CNN 模型对中国法律问题进行分类,该方法在粗粒度分类和细粒度分类上都取得了不错的效果.杨建飞23利用 BERT 模型对军事装备问题进行分类,张永亮24利用 TextCNN 模型对关于苹果病虫害的问题进行分类,这些方法较好地完成了对应任务.(2)主题提取.主题提取的结果将用于信息检索中获得与查询问题相关的文档,主题词的选取会影响到信息检索的效果,所以一般会选取问句的中心词和中心词的约束作为主题.大多方法是基于 TF-IDF 模型及停用词过滤的方法,Mihalcea 等人25参考 PageRank 算法26提出了一种将文本作为图的无监督排序算法TextRank 算法,用于关键词抽取和对文档进行简明摘要.El-Beltagy 等人27提出 KP-Miner 算法,该算法首先利用标点符号和停用词将文档切分,将切分出的词序列作为候选词,然后通过候选词的频度以及设定的规则对候选词进行过滤,计算总体权重,最后根据权重值进行排名,来提取关键词.以上两种主题提取的算法应用较广.3.1.2信息检索信息检索是根据所提取的主题剔除掉文档集中的无关文档,减小信息搜索的范围,以提高搜索的效率和精度.信息检索的任务一般分为文档检索和段落划分,检索出含有正确答案的文档或者段落越少,提取出正确答案的可能性就越大.(1)文档检索.文档检索是在所选数据库中查找出与用户问题相关的文档.常用的检索模型有布尔模型、向量空间模型、概率模型、语言模型、机器学习排序算法等.在问题分析的主题提取中提到过,通常会选用问句的中心词和中心词的约束作为检索的内容,但会遇到对长问句选取的关键词较多,对短问句选取的关键词较少的问题,这种情况会对检索产生困难.Moldovan 等人28针对这个问题在查询过程中用迭代式调整技术对关键词进行调整,若返回的文档过多,说明关键词太少、查询限制宽松则需加上一些限制;若返回文档较少,说明若关键词太多、查询限制太严格就去掉一些限制.(2)段落划分.段落划分是在文档检索的基础上再一次减少相关文档的数量.Tellex 等人29在研究中发现布尔查询模式在问答任务中表现良好,且基于密度的算法在段落划分中可以获得相对较好的效果.但是这种算法只针对提取出的关键字,不考虑上下文对答案的影响.Chu-Carroll 等人30使用 XML 片段查询语言对文档进行搜索,在关注关键词的同时,也关注句子中词与词组的关系,显著提高了划分范围的准确度.针对查询语言与查询文档中句子不完全相关的问题,李宇等人31提出了一种文本片段化机制来进一步解决段落划分的问题,综合考虑语义和词频的两个方面的影响,计算查询语言与段落片段的相似度,根据相似度进行排序,实验结果表明该方法可以提高信息检索的性能.3.1.3答案抽取答案抽取是对检索到的候选答案的段落集合进行提取,从中获取正确的答案返回给用户,这一时期常用的方法为模板匹配、信息检索及关系抽取.模板匹配的方法通常是人工构建答案模板,利用答案模板进行答案提取,如文献 32 中的问答机制是搜索预定义的文本表达式,这些表达式可以被解释为某些类型问题的答案.Yang 等人33提出了一个经典的信息检索方法来进行答案提取,该算法利用在信息检索中得到的候选答案的段落合集,在该段落合集中进行命名实体识别,将与问题类型与段落集合中的实体类型进行匹配,选择与问题类型一致的作为候选答案,然后将相似度最好的候选答案作为正确答案返回给用户.上面两种方法第 1 种因为需要人工构建模板,对可回答问题有类型限制,只能回答有模板的问题,第 2 种方法有性能的上限,需要对多个段落进行实体识别.关系抽取的方法被提出用来解决性能上限的问题,Lin 等人34提出了一种无监督算法,用于从文本中发现推理规则,将其应用于解析语料库的依赖关系树中的路径.在此基础上,Moldovan 等人35利用一套可以通过对解析获得的语法树进行规则计算,从而建立问题到答案的逻辑表示的工具,这种方法与推理的方法类似,通过找到各种关系来获得答案.3.1.4小结1999 年,文本检索会议(textretrievalconference,TREC)引入了问答系统评测专项(questionanswering2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SpecialIssue专论综述5track,QAtrack),吸引了更多的研究者进行这方面的研究,极大推动了问答系统的发展.基于大规模文档集的问答系统的优点是,可获取的知识来源更多,不需要预先建立大规模的知识库.这一方法虽然在一段时间内取得了较为不错的效果,并使研究者对于问答系统中存在的问题更加聚焦,但由于用户提问方式具有多样性以及自然语言的复杂性,这一时期的研究仍不能较为准确的理解问题,尤其是对于复杂问句.并且由于数据的来源往往都是从网络文档中抽取的非结构化数据,质量难以得到保证,导致得到的效果差强人意,问答的准确率及系统性能都比较低.3.2 基于问题答案对的问答系统进入 21 世纪后,由于互联网技术的成熟与普及,问答系统进入了基于问题答案对的问答系统时期.这个时期提出了两种类型的问答系统,一个是基于常问问题(frequentlyaskedquestions,FAQ)的问答系统,另一个是基于社区问答(communityquestionanswer,CQA)的问答系统.两种类型各有优劣:与 CQA 相比,FAQ 有着质量高、组织好等优点,使得系统回答问题的水平大大提高,但是 FAQ 的数据获取成本高;CQA为基于问答对的问答系统提供了可靠的问答数据来源,但存在缺乏专业知识匹配、答案质量低等问题.FAQ 问答系统以标准问题为桥梁,将用户和答案连接起来,通过预先整理好的一些常问问答对,发布在网页上为用户提供服务.FAQ 问答系统的总体结构如图 6 所示,整体框架符合狭义问答系统的定义.问题语义编码语义Encoder问答对管理人工标注问答对数据库候选相似问句重排答案Elasticsearch检索模块FAQ相似问句选择模块图 6FAQ 问答系统的总体结构CQA 提升了系统的自由度,用户可以对他人的问题或者回答进行交互,如点赞、评论等.问答系统会检索社交媒体中的相似问题并将答案返回给用户.有关CQA 的研究主要包括专家推荐、答案质量评估、问句分类和相似问题检索等,CQA 问答系统的总体结构如图 7 所示.问题提取关键词查找候选问题评估答案质量问题检索QA 对社区网络答案相关问题专家推荐图 7CQA 问答系统的总体结构3.2.1基本研究问题FAQ 问答系统的研究内容与上一时期的基本一致,主要处理客观、事实类型的问题.但 CQA 问答系统中有大量的主观类问题,主观类问题自由度更大,答案不唯一,所以 CQA 问答系统与 FAQ 问答系统的技术有所不同,以下对几个不同之处进行综述.(1)专家推荐.专家推荐是通过用户的行为特征对用户擅长的知识领域进行建模,从而将问答系统中未解决的问题推荐给相关领域具有专业知识的用户去回答,在用户权威评估上,Jurczyk 等人36通过一条边将提问者和回答者之间连接起来,建立用户网络,用一种图结构算法来评估用户的权威性.Agichtein 等人37将问题、用户答案与回答用户组成三元组,判断相互之间的影响力,并预测回答的质量.使用这种方法得到的答案基本符合要求,但是可能出现问题回复不及时的现象.Jeon 等人38提出了一个使用非文本特征预测文档质量的框架,综合考虑答案的接受率、回答者的积极程度、回答者的回答问题偏好、用户的推荐次数、点击次数等特征来向用户推荐问题.(2)答案质量评估.答案质量评估有助于全面提升社区问答中的答案质量,主要关注问题和答案之间的匹配程度.如果已有的答案质量较高,符合用户所想提问的问题,用户就不用花时间在 CQA 问答系统中发布同样问题.在特征工程中通常选用文本特征和链接特征来进行答案质量特征,孔维泽等人39综合考虑文本特征、链接特征以及时序、问题粒度和百度知道社区用户等特征,从多方面评估答案质量,实验表明在文本计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第8期6专论综述SpecialIssue特征与连接特征的基础上综合考虑其他特征能提升答案质量评估的效果.Bian 等人40提出了 GBRank 算法来进行答案质量评价;沈旺等人41提出一种新的回答质量评价指标,融合用户评价标准和数据特征,依据回答评论对文本进行向量化表示,利用支持向量机对文本进行标签表示学习,实验证明上述方法可以获得85.32%的分类准确率,高于仅使用用户评价标准指标的 61.44%和仅使用数据特征指标的 79.10%.(3)问句分类.由于在 CQA 问答系统中,用户可以进行提问也可以进行回答,所以这种类型的问答系统会积累大量的信息.为了保证系统的健壮性,需要对这些信息进行分类存储.熊大平42针对用户不能确定问题类别而随便指定一个,导致分类体系杂乱的问题,提出一种结合问题分类和答案分类的组合模型,等得到答案后,再利用答案信息对问题进行分类.延霞等人43针对 CQA 问答提出了一个粗粒度的分类体系,将问句分为 13 个类别,以及提出一个使用分布策略的多标记多分类的问句分类算法 MLMC.Li 等人44对于 CQA问答提出了一个联合培训系统 CoCQA 框架,该框架可以识别用户的主观或复杂的问题并对这些问题进行分类,利用问题之间的关联,自动判定答案.(4)相似问题检索.相似问题检索是在已解问题的基础上利用问题特征相似程度来求解新问题的过程,这一过程需对用户问题进行相似评估,返回答案或者相似问题列表.Liu 等人45提出了一种与语言无关的技术来解决数据提取问题,此模型主要应用于网页中,将页面转化为视觉区域树,然后定位包含目标信息的区域,最后从目标区域提取信息.Duan 等人46首先将问题的主题和重点进行结合,然后把这些信息加入到语言模型中,提高了搜索的相关性.Cao 等人47利用主题聚类和问题重点聚类的方法来呈现与查询相关的问题,并生成查询问题与已存在问题的相关性分数;熊大平42提出了一种基于 LDA 的匹配框架来计算问句相似度,分别利用基于 VSM 的统计模型、基于 WordNet的语义模型、基于 LDA 的主题模型对问句的统计信息、语义信息和主题信息进行问句相似度计算,在真实数据中的实验取得较好效果.3.2.2小结基于问题答案对的问答系统在工业界有很多的应用,例如知乎、腾讯知文-结构化 FAQ 问答引擎、一些购物 APP 中的客服机器人都是应用了 FAQ 问答系统的方法或者 CQA 问答系统的方法,广泛的应用说明了这一时期问答系统的优越性,但这其中仍有一些问题需要解决,比如说如何自动获取有标记的相似文本训练数据、如何降低获取与维护高质量的问答对数据的成本、用户输入的问题类型较多如何解决以及在各个阶段使用模型的鲁棒性无法保证等问题.3.3 基于知识图谱的问答系统2012 年,知识图谱(knowledgegraph,KB)这一概念由谷歌提出,同时还发表了 GoogleKnowledgeGraph48.2013 年之后工业界和学术界对这一概念的接受程度越来越高,关于知识图谱的文献也越来越多.本质上来说,KB 是一种语义网络的知识库,其节点表示实体,边表示实体之间的关系,形成一个错综复杂的网状结构.在进行问题处理的时候,使用实体识别等技术将用户问句中的主题实体识别出来,再在知识库中获取与主题实体相关的其他实体,从而进行答案的获取.基于知识图谱的问答系统,亦可称之为知识库问答系统,是根据对自然语言问题的理解并依赖知识库获取答案的一种问答方式,用户除了可以得到答案还可以得到与其相关的内容.目前基于知识图谱的问答系统采用的主要方法为模板匹配、语义解析和深度学习,不同方法之间的比较如表 2 所示.表 2基于知识图谱的问答系统方法比较方法优点缺点基于知识图谱的模板匹配方法准确、迅速需要人工构建大量的模板且模板难以复用基于知识图谱的语义解析的方法可解释性强对数据要求较高,依赖高质量的解析算法基于知识图谱的深度学习的方法几乎不需要手工定义的特征趋于黑盒,缺少可解释性3.3.1基于知识图谱的模板匹配方法基于模板的问答方法属于比较传统的方法,需要预先构建好模板,不用对问题进行分析而将其转化为三元组的形式,再根据三元组寻找相匹配的查询模板,最后根据匹配到的查询模板在知识库中进行数据匹配获得答案.具体流程如图 8 所示.初期,基于模板的知识图谱问答通过构造一组模板参数,形成查询表达式,对问题文本进行匹配.这样的流程可以较为容易的回答出用户提出的简单问题,但对于复杂问题难以处理,并且这种形式的模板需一一对应,要耗费大量人力构建模板,不够灵活,所以一些研究者对模板匹配的方法进行了深入研究.2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SpecialIssue专论综述7针对问答模板不能复用的问题,Tunstall-Pedoe 等人49提出 TrueKnowledge 方法,首先用问句与模板中的部分词进行对应,其次根据问句的内容,进一步映射填充到查询模板中,这种方法不用为每一个问题都构建一个模板,使得一个模板可以覆盖多个问题,但是该方法需要大量人工处理才能形成模板且模板对数据库依赖性大,只支持英语.Unger 等人50提出一种模板改进的方法,主要分为 4 步:首先将自然语言问题通过句法分析映射为 SPARQL 模板,其次进行模板实例化,通过实体识别和关系识别将 SPARQL 模板进行槽位填充,再次对多个模板进行排序,最后用 SPARQL 模板从 RDF 数据查询获取结果.这种方法不用规定用户必须使用固定格式的查询语言进行提问,使用户可以用自然语言进行查询,但是某些情况下,生成的模板不一定可以和 RDF 数据库定义的结构对应上.Abujabal等人51提出了 QUINT,可通过语料自动生成模板,借助生成的模板将一个问题映射到一个知识库上进行查询,该方法可以动态的学习新模板,但不能解决聚合、排序等方面的问题.为避免人工构建模板,Cocco 等人52借助一个开放的 RDF 数据集,通过机器学习方法在训练集上自动学习 SPARQL 模板.SPARQL 模板被提供给一个基于实例的分类器,该分类器将用户问题与一对现有问题关联起来,用于回答用户问题,这是一种完全自动的方法,但该方法准确率和召回率不高.为了提高系统的性能,Liu 等人53利用 BERT 预训练模型,提出了一个基于 BERT 的知识库问答模型 BB-KBQA,该模型可以捕获问题、实体和关系之间的深层语义信息,取得很好的效果.自然语言查询意图识别实体链接+关系识别查询语句拼装返回结果选择基于词典及模板的规则方法基于特征统计的分类方法基于神经网络的方法命名实体识别技术词典匹配技术知识图谱将意图、实体、关系填入模板查询答案问题图 8基于知识图谱的模板匹配方法总体结构3.3.2基于知识图谱的语义解析方法基于知识图谱的语义解析方法与模板匹配方法的最大不同在于逻辑表达式,模板匹配方法需要提前设定好表达的方式,而语义解析方法是对用户提出的问句进行解析,将其转化为一种形式化的意义表示,如逻辑形式,根据问句的逻辑形式查询知识库得到结果,具体流程如图 9 所示.基于语义解析的知识图谱问答方法的关键在于如何分析用户使用自然语言提出的问题,并将分析结果转换为机器可理解的查询语言,常用有 3 种方法:基于词典文法、基于语义图以及基于神经网络,3 种方法之间的优缺点如表 3 所示.(1)基于词典-文法的语义解析方法.Berant 等人54利用语义解析器进行知识图谱问答,对问句连接、求交、聚合和桥接 4 种操作进行结点合并来构造语法树,还介绍了一种经典的逻辑语言-DCS,用于减少逻辑表达的复杂性.Li 等人55提出了上下文无关文法 SCFG,该方法在英语、中文、泰语、德语和希腊语中都有不错的效果.(2)基于语义图的问句解析方法.Reddy 等人56提出了一种利用图匹配将问句映射到知识库的新思路用于知识图谱问答.Yih 等人57提出了一个适用于知识图谱问答的语义解析框架,将语义解析简化为查询图生成,缩小了搜索空间.在提升问句解析的准确度上,Chen 等人58提出 Sequence-to-Action 模型,将语义分析建模为端到端的语义图生成过程,并在解析过程中加入句法约束条件和语义约束条件,提高了问句解析的准确度.对于复杂的问题,Lan 等人59改进了查询图的生成方法,允许更长的关系路径存在,并且将合并约束的过程融入进关系路径构造,解决复杂问题解析路计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第8期8专论综述SpecialIssue径过多的问题.针对大型知识库,Zhang 等人60提出了一种因果增强的表填充器用于图结构生成,可以克服序列建模中的问题并学习内部的因果关系.问题语义分析检索匹配知识图谱答案基于词典-文法基于深度学习逻辑表达式基于语义图图 9基于知识图谱的语义解析方法总体结构表 3基于知识图谱的语义解析方法比较方法优点缺点基于词典-文法的语义解析方法解析过程清晰,可解释性强需学习语法知识,且受限于词典的覆盖度基于语义图的问句解析方法与知识库联系紧密,可用知识库辅助构建语义图依赖特定手段构建语义图,通用性不强基于神经网络的方法充分利用神经网络模型的表示能力和拟合能力可解释性差,模型训练时间长,参数不易调节(3)基于神经网络的方法.Dong 等人61提出了一种从粗到细的神经语义分析解码框架,先生成忽略细节的表示,再将细节填充到之前的表示中,该框架可以较为容易的适应不同领域的表达.Chen 等人62通过一个双向注意力记忆网络,不仅从问句中提取特征进行语义分析,且结合知识图谱中的一些信息,使问答准确性提高.不同于依赖实体识别、分段及分类等各种组件的问答系统,Lukovnikov 等人63将研究聚焦于解决字符级问题,训练出的网络可以让模型自己进行决策,以端到端的方式回答简单问题,实现了不错的效果.3.3.3基于知识图谱的深度学习方法基于知识图谱的深度学习方法利用深度神经网络模型对问题内容与知识图谱三元组的高维抽象表达进行相似度计算,利用预定义的评分机制获得最优答案,又称向量建模的方法,具体处理流程如图 10 所示64.在这一方法的研究过程中,最为经典的是 2014 年Bordes 等人65提出的使用 embedding 模型,该模型首先从句中的主题词对应的知识库实体出发,找出几个与问句相关的实体关系,作为候选答案,根据实体关系与问句之间的相似度对答案进行排序,选择相似度最大的返回给用户,用户可获取到较为满意的答案,但该模型没有考虑到问题的语言顺序.2015 年,Dong 等人66提出了一个基于 Freebase 数据集的 MCCNNs 的自动问答模型,在传统的向量建模方法中融入了卷积神经网络,通过 3 个通道来分别针对答案路径、答案背景信息及答案类型来学习理解问题,使问答性能得到提升.2016 年,Zhang 等人67在前面研究的基础上,使用双向 LSTM 并结合问题引入注意力机制提取问句特征,效果优于 MCCNNs 方法.Hao 等人68针对 MCCNNs中的 3 个神经网络不灵活的问题,提出了一个端到端的交叉注意神经网络模型,根据主题实体联合知识库生成候选答案,通过交叉注意力模型动态化的表示问题与候选答案的关联及计算相应的分数,并将知识库本身作为训练数据,捕捉整个知识库的全局结构,解决词汇表外的问题.2018 年,Qu 等人69注重于句中的原始信息,从而提出了一种基于相似矩阵的递归神经网络模型,利用 RNN 和 CNN 互补的优势对句中信息进行提取,使用注意机制同时关注实体和关系,该模型可在未来扩展应用于解决复杂问题.2020 年,Luo 等人70关注问题和知识库事实之间的关系,提出了一种基于BERT 的单关系问答方法 SR-QA,问答效果得以提升.2021 年,Shi 等人71针对复杂问题提出了 TransferNet,该方法从问题的主题实体开始计算图中关系的分数,然后将关系分数转化为一个邻接矩阵,通过将实体得分向量与关系得分矩阵相乘,以可微分的方式沿着关系进行多次查询得到答案,在