关键词提取算法研究综述.pdf

第3 8卷 第2期2 0 2 4年2月中文信息学报J OUR NA LO FCH I N E S EI N F O RMAT I ONP R O C E S S I NGV o l.3 8,N o.2F e b.,2 0 2 4文章编号:1 0 0 3-0 0 7 7(2 0 2 4)0 2-0 0 0 1-1 4关键词提取算法研究综述崔洪振,张龙豪,彭云峰,邬 雯(北京科技大学 计算机与通信工程学院,北京1 0 0 0 8 3)摘 要:关键词在医疗、教育、金融、农业及工业制造等领域得到快速发展与广泛应用,得益于其表征海量文本信息的主旨和核心内容。关键词提取成为开启领域研究的必要前置条件,是自然语言处理、知识图谱、系统对话等的关键基础研究热点问题。关键词提取技术和算法成为快速准确获取有效文本信息的关键所在,因而广大研究者对该领域进行了积极探索和应用。该文从现有关键词提取算法的主流流程出发,分析关键词提取过程;结合深度学习和传统机器学习在关键词提取中的应用特点,梳理并详细描述了现有关键词提取方法的计算特征及应用案例;针对提取流程,结合提取特征、典型文献、模型算法、方法描述等,分别分析了有监督提取、无监督提取和半监督提取方法的研究进程、算法机制、优势、局限性及应用场景;通过关键词提取的不同方法和案例给出关键词提取得分解析和评价策略;展望了关键词提取的半监督方法应用前景,以及在特征融合、领域知识及图谱构建中的研究方向和可能面临的挑战。关键词:关键词提取;特征;有监督提取方法中图分类号:T P 3 9 1 文献标识码:AAS u r v e yf o rK e y w o r dE x t r a c t i o nA l g o r i t h m sC U IH o n g z h e n,Z HAN GL o n g h a o,P E N GY u n f e n g,WU W e n(S c h o o l o fC o m p u t e r&C o mm u n i c a t i o nE n g i n e e r i n g,U n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g yo fB e i j i n g,B e i j i n g1 0 0 0 8 3,C h i n a)A b s t r a c t:K e y w o r de x t r a c t i o n i sak e yr e s e a r c h i s s u e i nn a t u r a l l a n g u a g ep r o c e s s i n g,k n o w l e d g eg r a p h,s y s t e md i a-l o g u e,e t c.I nt h i sp a p e r,w ea n a l y z et h ek e y w o r de x t r a c t i o np r o c e s sf r o mt h ee x i s t i n gk e y w o r de x t r a c t i o na l g o-r i t h m s,a n ds o r to u t i nd e t a i l t h ec o m p u t a t i o n a l f e a t u r e sa n da p p l i c a t i o nc a s e so f e x i s t i n gk e y w o r de x t r a c t i o nm e t h-o d s.W ea n a l y z e t h e s u p e r v i s e de x t r a c t i o n,t h eu n s u p e r v i s e de x t r a c t i o n,a n d t h e s e m i-s u p e r v i s e de x t r a c t i o nm e t h o d si nt e r m so f f e a t u r e se x t r a c t i o n,r e p r e s e n t a t i v ep a p e r s,m o d e l a l g o r i t h m s,a n dm e t h o dd e s c r i p t i o n s,s u mm a r z i n g t h er e s e a r c hp r o g r e s s,a l g o r i t h m m e c h a n i s m,a d v a n t a g e s,l i m i t a t i o n s,a n da p p l i c a t i o ns c e n a r i o sa sw e l l.T h ek e y w o r de x t r a c t i o ne v a l u a t i o ns t r a t e g i e sa r eg i v e n,a n dt h ea p p l i c a t i o np r o s p e c t so f s e m i-s u p e r v i s e dm e t h o d so fk e y w o r de x-t r a c t i o na r ep r o s p e c t e d,a sw e l l a s t h er e s e a r c hd i r e c t i o n sa n dp o s s i b l ec h a l l e n g e s i nf e a t u r e f u s i o n,d o m a i nk n o w l-e d g e,a n dg r a p hc o n s t r u c t i o n.K e y w o r d s:k e y w o r de x t r a c t i o n;f e a t u r e s;s u p e r v i s e de x t r a c t i o nm e t h o d s收稿日期:2 0 2 3-0 7-0 4 定稿日期:2 0 2 3-0 9-1 8基金项目:国家自然科学基金(6 1 8 7 1 0 2 9)0 引言互联网信息传播应用普及且持续深入发展,导致来自特定领域和复杂领域的数据信息越来越多,数据维度变异性增长,数据量爆炸式发展,致使当今社会对信息处理和文本计算需求亟待解决。近年来,科技前沿领域的学者和科研人员需要从海量资料中精准获取文献知识,提取关键信息,捕捉有效内容等,而关键词提取(K e y w o r d/K e y p h r a s eE x t r a c-t i o n)是该过程不可避免的重要环节和科研基础。关键词提取是自然语言处理(N a t u r eL a n g u a g eP r o c e s s i n g,N L P)、知识图谱(K n o w l e d g eG r a p h,K G)的典型任务和重要处理环节。通过关键词提取中 文 信 息 学 报2 0 2 4年方法获取关键词之后,才能继续N L P和K G下游任务的处理,如人机对话、信息检索、文本概要生成、文本分类等。此外,关键词在生活场景中应用广泛,如手机购物时的商品检索、购物平台“客服机器人”自动问答;研究员或学生进行文献检索、浏览器信息查询等均涉及关键词提取。关键词是从完成文本信息采集到应用的元数据,是一个或多个能够描述文档主题信息的词语或词组1,是文本中较单个文字之后的最小单位,被称为文本关键标题或摘要核心。关键词获取离不开关键词提取技术。关键词提取技术是通过设置规则、文本特征、统计数学或神经网络模型,对特定领域文本知识进行不断挖掘和精准处理,实现关键词提取的过程2。关键词提取技术包括:关键词抽取和关键词生成。关键词抽取是抽取存在于原有文本中,且能够表达原有文本主旨的词语或词组;关键词生成是从原有文本中或者从词表中选择与主旨相关的词语 作 为 关 键 词,与 该 词 在 文 本 中 是 否 出 现 过无关3。虽然关键词提取技术及算法得到了广大研究者的积极探索和应用研究,但仍未达到人们预期效果。文献4 针对关键词预测模型做了分类综述,文献5 围绕预训练语言模型描述关键词抽取,文献3则是基于关键词生成、关键词提取中的相关特征及评价方法进行分类综述,但对于关键词提取算法流程和提取计算方法描述相对不足。此外,关键词提取技术在科研应用场景中存在巨大研究潜力,如文本处理中的文档检索、摘要生成、文本分类、因果事件推理、话题检测及问答系统,关键词提取还可以用于相关性计算、舆情跟踪、病历聚合、热点事件检测、智能音响、语音助手等。为了促进关键词提取技术的发展,促进多种提取特征及算法模型融合,更好地满足初学者理解其发展进程的需要,该文简述关键词提取方法;分类分析有监督、无监督和半监督提取方法及主要典型文献和模型案例;进行关键词提取特征描述、关键词得分解析及评价指标分析;总结关键词提取研究前景,并探讨下一步研究方向。1 关键词提取研究概述文档是关键词的载体,从文档中提取关键词是完成信息抽取等自然语言处理任务的基础。本节简述从文档中提取关键词的研究过程,分析并给出提取关键词的核心流程,综合分析提取中的特征描述。1.1 关键词提取方法分类说明关键词提取在2 0世纪5 0代被提出,经历了一系列方法演变和特征提取。1 9 5 7年,L u h n等人6对关键词提取任务开展研究,创造性提出基于词频特征的关键词自动抽取方法。从此,关键词自动提取成为科研探索课题之一。2 0 0 7年,关键词提取实现自动标引研究7,在自动标引研究基础之上,赵京胜8完成自动关键词抽取在宏观提取方法上的梳理总结。自动标引和提取关键词离不开关键词的特征,针对关键词提取特征,文献9 梳理了特征驱动下的关键词提取算法。近年来,P a p a g i a n n o p o u l o u1 0、胡少虎等人3对关键词提取从不同维度和特征做了梳理。关键词提取可以基于词频统计等常规特征实现,这类方法属于无监督提取方法。随着研究的深入,发现原文文本中不存在的关键词对文本内容研究也至关重要,依赖词频等常规特征提取关键词,并不能满足文本对真实信息反馈的关键 词 进 行 提 取 需 要1 1。F i g u e r o a等 人1 2提出:低频词、评分较低词等也可能是关键词,在短文本中会漏掉出现频率低的关键词。由此可知,基于深层次语义特征对关键词提取的后续科研工作非常重要。图1 端到端序列模型图神经网络的提出及深度神经网络(D e e pN e u r a lN e t w o r k,D NN)技术的发展,使得关键词提取方法取得较大进展,如将D NN应用于关键词生成领域1 3来解决传统关键词提取方法中存在的提取精度缺陷问题。基于D NN的方法主要采用S e q 2 S e q端到端序列模型,如图1所示。M e n g等人1 1首次提出C o p y R NN模型,利用复制机制实现关键词提取,优势在于生成原文中不存在的关键词或生成原文缺失的关键词,从而解决传统方法的缺陷和不足。2 0 1 7年,Z h a n g等人1 4在C o p y R NN的基础上进一步优化关键词生成效率,提出一种基于卷积神经网络的C o p y C NN模型,丰富和提升关键词提取能力。22期崔洪振等:关键词提取算法研究综述神经网络的演化模型在关键词提取中也得到了发展。2 0 1 9年,C h a n等人1 5通过引入一个自适应奖励函数提出一种用于生成关键短语的强化学习方法,在具备自适应奖励的同时,鼓励模型生成足够准确的关键词。神经网络模型依赖语义等深层特征,属于有监督提取方法。基于统计分析形成的关键词提取方法属于无监督提取方法,以词频统计为例;基于语义特点构建提取方法属于有监督提取方法,以词嵌入为例。为提高关键词提取效果和速度,基于无监督和有监督提取方法,科研人员融合二者特点提出半监督提取方法。该文以关键词提取的无监督、有监督和半监督方法进行分类综述分析,这些提取方法的关键流程如下文所述。1.2 关键词提取方法核心流程关键词提取是基于不同特征、不同算法实现提取的过程。图2是基于词向量和词统计总结的关键词提取方法的流程,同类提取流程研究在文献1 6-1 7中也有提及。该过程主要包括:分词、词性标注、筛选候选词、向量计算和T F-I D F权重计算等。以语料库为输入,虽然该过程依赖分词效果,但包含关键词提取核心步骤。图3是关键词自动化标注算法流程模式图,其中主要包括分类、预测,以及关键词候选、过滤、排序等。图2 基于词向量和词统计的关键词提取流程根据不同关键词提取算法,该文总结关键词提取方法核心步骤如图4所示。其中,词语过滤包括词性标注1 8,通常使用P O S标签标注;词性过滤,根据标注词性判断和筛选是否保留或过滤掉不满足条件的词。多元组生成涉及提取性能和规则,文献图3 关键词自动化标注算法流程模式图1 9 描述文档预处理对提取性能的影响;文献2 0按照规则筛选多元组,并选择内部紧密度作为筛选规则。由此可知,可以在多元组生成环节采用通配符匹配方式,用序列模式挖掘关键词2 1,规则的本质是利用约束条件来控制多元组生成。图4 关键词提取流程核心步骤1.3 关键词特征说明关键词特征在关键词提取中起着决定作用,随着有效特征加入会不断提升提取效果,下面梳理了常见特征及在关键词提取中的应用。词频特征 基于统计学提出的关键词提取特征之一,常用词频统计作为提取特征。1 9 5 7年,L u h n直接使用词频统计作为关键词筛选特征6。随着研究深入,发现词频统计提取的关键词并不能完全表征文本内容,且存在其他局限和不足。为此,使用T F-I D F2 2来提高关键词提取效果。此外,基于T F-I D F科研人员给出众多改良优化后的T F-I D F提取算法,如基于对数2 3、布尔2 4、上下文2 5等方法。长度特征 表示候选词长度2 6。根据长度区分候选词,候选词越长包含的信息素可能越多,信息含量越丰富。A q u i n o等人2 7使用长度特征度量句子中包含语义信息的多少。位置特征 在半结构化格式文档中,如网页网3中 文 信 息 学 报2 0 2 4年站、门诊病历、学术论文等,根据分布特点,利用相对位置或间距来判断关键词。位置特征在半结构化格式的文档提取中非常有效。如将关键词首次出现位置作为特征2 6-2 8,将关键词最后出现位置作为筛选特征2 7,将标题是否包含关键词作为特征,加入算法模型中2 9;文献3 0 利用参考文献中标题包含的关键词作为特征,利用位置跨度作为特征3 1;文献3 2 利用关键词出现的段落数与文中最大词频出现段落数的比值作为特征。语言特征 利用候选关键词的属性作为其筛选特征之一。如文献3 3-3 4 利用词性序列作为构成候选 关 键 词 的 特 征;利 用 特 殊 专 用 名 词 作 为 特征2 8;文献3 3,3 5-3 6 利用字体大小写、粗体格式等作为特殊筛选特征;文献3 7-3 8 分别利用修辞手法和依存关系作为特征。外部知识库特征 该特征是对原始文档中数据缺乏的补充。如果原始文档信息不全,可通过增加外部资源进行数据补全,文献2 8,3 9 分别提出用是否为维基词条来判断某词是关键词的可能性或是否为维基百科关键词等。文献4 0 利用开源眼动追踪语料库中提取的注视持续时间作为外部特征增强微博中关键词的提取。词间关系特征 该特征是构成候选关键词词图的核心,通常用于计算词之间的关联程度,是增强词之间语义关系所在的主要特征。文献3 8 利用上下文关系、文献3 9-4 1 利用语义相似度来表示多个关键词在语义表述上的关系,这些方法均体现出词间关系在提取中的作用。词嵌入特征 2 0 1 4年W a n g等人4 2在词嵌入研究中做出了突破,将词嵌入应用于增强候选关键词之间的语义关系。基于此,W a n g等人4 3利用词嵌入和深度信念网络(D e e pB e l i e fN e t w o r k,D B N)计算词间语义关系。类似地,词嵌入特征被用于相似度计算,P a p a g i a n n o p o u l o u4 4利用平均向量和每个词向量来计算相似度,通过相似度确定候选词的分值。由上可知,关键词提取的特征、流程及模型是影响提取性能的重要因素;特征组合使用、特征与模型融合、提取流程的变化都会影响提取效果。针对上述特征、流程和模型,结合特征分类方法,该文对有无监督提取方法分类进行梳理总结,发现无监督提取方法聚焦统计和图结构算法,深度神经网络中词嵌入、词向量计算即多特征融合等在关键词提取方法中出现频次逐渐增多,成为研究热点之一。此外,基于主题特征和中心度量特征的提取方法也在逐渐增多。2 关键词提取研究本节按照有监督、无监督和半监督的关键词提取方法分类描述。关键词有监督提取算法需要大量标注数据,依赖时间和人力进行数据标注,该方法可扩展性有限;无监督提取算法则不依赖标注数据,但存在过拟合现象,效果受到数据集的影响。基于这两类方法,半监督提取方法中和了两种方法的优缺点,采用部分标注数据进行训练,然后结合模型提取关键词。本节分析不同算法发展历程及现有最新提取算法的差异,来解释关键词提取过程及在领域应用中的效果。图5是关键词提取整体架构思路图,包括三条主线:有监督、无监督和半监督提取方法。图5 有监督、无监督和半监督方法在关键词提取整体架构思路图2.1 有监督提取方法关键词有监督提取方法通常具有较好提取效果。该过程可类比为二分类问题,分类类别为关键词和非关键词,表示为:正样本1,负样本0,分类标签Yi0,1。基于该特点,利用传统分类器和基于神经网络模型进行分类,提取关键词。该过程主要步骤包括:文本预处理、生成候选词、计算候选词特征、分类候选词、筛选关键词。下文梳理并总结有监督提取方法在进行分类特征计算及分类时采用的策略。42期崔洪振等:关键词提取算法研究综述2 0 0 0年,T u r n e y1首次提出有监督关键词提取方法。首先,将C 4.5决策归纳算法应用于提取任务,评估C 4.5中9类不同配置实验结果;然后,将G e n E X算法用于该提取任务,实验表明该算法从文本中自动提取效果更优,但缺陷是过滤掉所有少于三个 字 符 表 示 的 单 位 和 修 饰 的 单 词。2 0 0 3年,T u r n e y改进F r a n k等人4 5的算法,基于朴素贝叶斯分类器提出K E A算法,使用统计来提高关键词之间 的 一 致 性4 6。基 于 此,2 0 0 5年K e l l e h e r和L u z4 7改进K E A算法,实现超文本关键词检测;次年,K E A+算法被提出,利用领域同义词词库完成自动关键词索引4 8。区别于上述关键词提取算法,2 0 0 6年及之后,许多不同的机器学习提取方法被提出:利用支持向量机(S u p p o r tV e c t o rM a c h i n e,S VM)在网页中抽取关键词2 5。基于S VM可以实现对语音进行关键词提取,并且S a n g e e t h a等人4 9设计语音关键词识别系统。2 0 1 6年,S VM应用得到推广,由C h e n等人5 0利用S VM自动提取发明专利中的关键词。同样,L o g i s t i c s回归模型和S VM一样,被不断用于关键词提取中。例如,文献5 1 用L o g i s t i c s回归算法训练分类模型 如式(1)所示 提取W e b网页广告关键词。提取过程中,为解决文档内频繁重叠词语对提取效果和精度的影响,2 0 1 4年,H a d d o u d等人2 3开发了基于多种统计特征的监督学习系统;次年,H a d d o u d等人5 2又实现从科学论文中挖掘关键词。此外,研究人员还利用L o g i s t i c s回归模型融合其他策略实现关键词提取,如2 0 2 2年L i a n g等人5 3融合三方决策3WD等完成提取任务。P(Y=i|x-)=e x p(x-w-i)5j=1e x p(x-w-j)(1)其中,Y取值为1或0,1表示是候选关键词的概率,反之则不是;x-表示候选词特征向量,w-表示L o g i s-t i c s回归模型权重。j取值范围为1,5,表示有5组不同的权重。目前,有监督提取方法除了决策树、遗传算法、S VM、L o g i s t i c s回归模型,还包括神经网络、条件随机场等提取方法。2 0 1 2年,S a r k a r等人5 4结合词频、长度等多个特征完成关键词提取,通过实验对比决策 树 算 法、朴 素 贝 叶 斯 算 法 和 人 工 神 经 网 络(ANN)提取算法。除人工神经网络提取算法,2 0 1 6年,Z h a n g等人5 5利用深度递归神经网络(R NN)实现对T w i t t e r上短文本信息的关键词提取,提取目标函数J()如式(2)所示,其中,表示线性权重因子,N是训练序列长度,d函数表示两个参数之间的离散值,如欧几里德距离或交叉熵。J()=NNn=1Tnt=1d(y1t,y1t)+1-NNn=1Tnt=1d(y2t,y2t)(2)ANN、R NN的提出和发展,促使对抗神经网络(GAN)和长短时记忆神经网络(L S TM)在关键词提取中得到实践和应用。基于主题关联,将主题显示合并到文档中,进行对抗训练,完成文档固定域学习;利用前后向重建目标数据,标记目标数据中的关键词,完成基于主题GAN的跨域关键词提取5 6。为更好地融合语义向量,可以将目标词的历史上下文信息和后续下文信息进行特征计算,基于该思想,2 0 2 0年,Z h a n g等人5 7提出基于目标中心的L S TM模型(T C-L S TM),结合自注意力机制实现深层神经网络模型在关键词提取中的应用,其中目标词自动标注流程如图6所示。神经网络模型可以抽象理解为编码器和解码器的特殊模型,由此,W a n g等人5 8利用编解码模型实现社交媒体数据的关键词提取。Z h a n g等人5 9基于上下文编码器和关键短语标记器提出一种联合提取模型,用于微博文本关键内容提取。图6 关键词自动标注流程图5 7基于社交媒体的关键词抽取,能够快速发现舆情导向事件及重要新闻要素。但社交媒体信息不断动态增长,导致提取不准确、效率低。为解决该问题,2 0 2 0年,D u a n等人6 0基于MD P-L S TM完成在线增量日志的关键词提取,提取体系结构如图7所示。媒体信息、日志等文档内容动态增加,使得非关键词对关键词具有编码影响,同时,不同关键词之间的联系对于文档分析具有重要意义,但大部分文档关键词提取没有考虑关键词之间的关联性。为了解5中 文 信 息 学 报2 0 2 4年图7 O L o g的体系结构6 0决上述问题,需增强关键词之间相关性,L i等人6 1提出 一 种 图 协 同 的 分 层 神 经 网 络 模 型HC o p y-GAT,通过最小化负对数似然损失函数L()训练模型,完成关键词提取,如式(3)所示。其中,表示模型训练参数,|Y|和lk分别表示真实关键短语的数量和每个关键短语中的单词数。L()=-|Y|i=1lkt=1l o g(p(yti|yt-1i,x,)(3)除上述方法外,在有监督提取方法中,卷积神经网络(C NN)也是常用模型之一,2 0 2 1年,C h e n等人6 2提出一种基于关键词提取和 同义词替换 的C NN地理属性分析模型(K E-C NN),通过提取地理属性,实现非接触性的社会感应,捕捉大量人群时空行为,构建共词网络,从共词网络中挖掘大流行事件舆情信息。有监督 关 键 词 提 取 方 法 也 包 括 条 件 随 机 场(C o n d i t i o n R a n d o m F i e l d,C R F)。在2 0 0 8年,Z h a n g等人6 3使用C R F结合词频、词位置、词性等计算特征完成关键词自动抽取。2 0 1 2年,文献3 8利用C R F在常规词频等基本特征基础上,结合主谓宾关系、语法特点及文本序列组分块特征,进行多特征组合,实验并找到针对S e m E v a l 2 0 1 0数据集的最佳特征组合方式,使得系统准确率、召回率和F1值分别达到3 2.3 4%,3 3.0 9%和3 2.7 1%。近年来,随着各种神经网络与C R F深入研究,越来越多研究者将两者结合作为关键词、实体关系等重要信息的抽取方法。C R F研究的语言范围也得到拓展,在2 0 2 0年,H e t a l等 人6 4针 对 印 地 语,使 用C R F和B i L S TM完成情绪分析中的关键词提取。有监督关键词提取方法主要包括机器学习和神经网络模型,机器学习侧重于文本特征数量的增加,神经网络模型更聚焦复杂特征在关键词提取中的应用。近年来,以语义特征为基础,各类神经网络模型成为其探索和创新的主要课题之一;神经网络模型成为有监督关键词提取方法的典型和代表,也促使不同领域、不同语言种类、不同场景的文本关键词提取得到研究发展。有监督提取方法的优势在于操作流程规范、主观因素少、抽取精度高,但需要标注大量语料数据,受限于不同领域知识范畴,导致其普适性较差。未来可通过构建全领域健全语料集,训练大规模数据模型,如C h a t G P T等,集成并融合多类特征,提高关键词提取效果,扩大应用领域范围。相比有监督提取方法的标注数据,无监督提取方法则需要基于词频等文本统计特征,下文针对无监督提取方法进行梳理,分析提取过程,详细解析其典型案例。2.2 无监督提取方法相比有监督关键词提取方法,无监督关键词提取方法出现相对较早,且提取方法种类繁多。众多的无监督提取方法,大类分为基于简单统计和图的提取方法,而且各自有其所属的不同提取方法。通过归类分析发现基于无监督关键词提取方法主要流程包括:原始数据文本预处理、确定候选词集、候选词排序以及效果评估,如图8所示。上述两类提取方法及各自所包含的具体提取方法都离不开特征计算。图8 无监督关键词提取方法的主要步骤流程图62期崔洪振等:关键词提取算法研究综述 基于简单统计提取方法是对候选词的一部分特征进行统计计算,然后按照规则对统计结果进行排序,选择T o pN个作为关键词。特征统计分为两种,第一,包括词频、逆文档词频、位置、N-g r a m等不含关键词词性或语义信息的统计方法;第二种是包含关键词相关语义信息的属性,如词性、词义、词间关系等计算特征。基于简单统计的提取方法优势在于简单易用,方便操作,计算复杂度低,但缺点是依赖文档本身的特征,导致提取方法迁移能力差,准确率相对较低,统计计算过程中没有考虑语义信息、词性、词间关系。基于图的关键词提取方法将文档中的候选词视为一个个独立节点,利用语义信息、词间关系等将这些节点串联起来,形成基于图的关键词提取方法3。基于图的关键词提取方法,考虑到文档中的词间关系,融合了更多词的深度特征信息。1 9 9 9年,P a g e等人6 5提出P a g e R a n k算法,利用图网络结构特点,遍历图结构,递归计算表示节点在文本中重要程度的P a g e R a n k分数R(wi),进而确定关键词。基于P a g e R a n k算法,M i h a l c e a等人6 6在2 0 0 4年提出代表性的图模型T e x t R a n k,成为后续基于图的关键词提取研究基础,T e x t R a n k融合词性,在图节点中候 选 关 键 词 之 间 建 立 边(连 线)以 表 示 关 系。T e x t R a n k也存在局限性,例如,实验中只要同现在一个文本窗口中的词都默认存在关系,为解决这一问题,2 0 0 8年W a n等人6 7提出基于领域知识的单文档关键词提取算法,利用目标文档、文档集中与目标文档相近的文档的共现词频来确定图边的权重,如式(4)所示,解决T e x t R a n k同现即有关系的缺陷。其中,S i md o c(d0,dp)表示文档dp(0pk)在扩展文档集中置信度的相似因子;C o u n tdp(vi,vj)表示词vi和vj在文档dp中同现次数。A f f(vi,vj)=dpDS i md o c(d0,dp)C o u n tdp(vi,vj)(4)随着研究深入,关键词提取特征和算法不断融合,2 0 1 0年,文献6 8 将主题特征和图模型融合,构建主题P a g e R a n k(T P R)用于衡量不同主题词的重要性,根据文档词汇在主题z上的分布P r(|z),计算候选词排名分数,将得分靠前者作为文档关键词。2 0 1 4年,G o l l a p a l l i等人6 9基于图模型,利用网络引文这一特征提出C i t e T e x t R a n k关键词提取方法,通过增加参数k来调节边的权重计算,用于增强图节点关系。2 0 1 5年,D a n e s h等人7 0受到简单统计和图模型算法的启发,将两种算法进行融合,提出一种无监督混合统计算法用于完成关键词提取过程。同年,S t e r c k x等人7 1基于主题P a g e R a n k提出一种改进的关键词提取算法S i n g l e-P a g e R a n k,致力于求解每个文档的一个P a g e R a n k分数Rz(i),如式(5)所示,该过程不考虑模型中的主题数量,目的是提高关键词提取速度。式(6)表示K个主题最终排序得分R(i),P(z|d)表示文档d中主题z的概率值。Rz(i)=j:jie(j,i)O(j)Rz(j)+(1-)Pz(i)(5)R(i)=Kz=1Rz(i)P(z|d)(6)针对关键词提取,2 0 1 7年进入研究的新阶段。Z h a n g等人7 2融合多维特征信息,研究关键词提取的性能,提出基于随机游走参数的M I K E模型,挖掘候选关键词的潜在表示,捕获候选词之间的相互影响,优化候选关键词在图中的参数和排名分数,最终获取排名得分的较高候选词作为关键词。文献7 3 将位置特征融合到关键词提取算法中,提出一种基于无监督图关键词提取方法 P o s i t i o n R a n k,该方法将候选词的所有位置合并到有偏差的P a g e R a n k中,获取候选关键词排名靠前的作为关键词。文献7 4 改进了T P R,提出S a l i e n c e R a n k关键词提取方法,与文献7 1 不同的是,该算法运行P a g e R a n kK次而非一个P a g e R a n k,K是模型中使用的主题数。同年,Y a n等人7 5利用聚类,融合候选词和句子间关系来选取关键词;S h i等人7 6利用知识图谱完成关键词提取研究,提出P P R(P e r s o n a l i z e dP a g e R a n k)得分计算方法,如式(7)所示,图9是提取过程框架。P P R(vi)=vjviP P R(vj)o u t d e g r e e(vj)+(1-)p(vi)(7)图9 利用知识图谱完成关键词提取研究框架图其中,P P R(vi)是词vi的P P R得分,o u t d e g r e e(vj)7中 文 信 息 学 报2 0 2 4年是词vj所在节点的出度,p(vi)是vi的转移概率,是通过词vi词频概率计算得到的,是阻尼系数,在文献7 6 中设置为0.8 5,将知识图谱融合到关键词提取中,候选词概率计算是利用候选实体共现次数比例作为候选实体的概率P r(kt,ei)|kt)。近年来,关键词提取中出现了新的特征,计算特征从表层到深层不断被挖掘,逐步加深、拓宽关键词提取技术的研究层次和应用范围,提高提取效果。2 0 2 0年,W a n g等人7 7结合上下文和语义分类的T F-I D F实现关键词提取,该方法构建一个链表扩展结构来解决多义问题,在扩展结构中插入的新词是通过上下文向量计算语义相似度来完成;同时,对整个可扩展结构进行迭代计算,将每个语义下的词频和语义相似度累加,排序选取T o pN词作为文本关键词,并利用搜狗新闻数据集进行验证,提取效果较好。2 0 2 1年,文献7 8 基于关键词在文档中的位置信息,提出一种关键词提取和关键短语分类的T o p R a n k方法;文献7 9 使用图的度来表示图节点,采用P a g e R a n k算法对节点进行排序,提出一种基于语义图的T w i t t e r关键词提取模型S K EM(S e m a n t i cg r a p h-b a s e dK e y w o r dE x t r a c-t i o nM o d e l);文献8 0 不依赖外部任何资源,基于图方法迭代文本句子,实现一种无监督自动关键词提取方法。与传统图的迭代方法相比,该文作者迭代句子对单词进行排序,生成候选词列表,获取候选词更完整的句子语义信息,然后通过对候选词进行打分并 排 序 来 选 择 关 键 词。2 0 2 2年,F u r k a n等人8 1使用完整的多重图构建G o W模型表示文本文档,基于候选关键词位置距离的边缘加权方法设计实现MG R a n k关键词提取系统。A l i y a等人8 2基于概率主题模型P TM和非负矩阵分解NMF实现自动关键术语提取,包括经典非负矩阵分解和正则非负矩阵分解,该过程不需要耗费领域术语的手动标注,仅用一个领域词库作为可能的候选词集,实现完全无监督的关键术语提取,并在A C T E R数据集中取得较好效果。为了提升关键词提取性能,L i等人8 3提出了名为C-D e c a y的即插即用优化器,便于轻松集成到基于图的无监督关键词提取模型中。上面整理了近年来在关键词提取方向上无监督提取的主要方法,包括基于统计和图的提取方法。自1 9 9 9年T e x t R a n k被提出后,后续关键词提取研究基于这一方法不断增加、融合新的特征计算,不断扩展外部知识源,提高多维语义深度信息进行融合,增强图结构及提出新的提取方法,包括各种方法相互融合、协同提取。无监督关键词提取方法比有监督方法简单,不必借助标注来完成训练,在数据储备和算力相当的情况下,提取效果更好,应用更广泛。未来可以通过统计更多语料集来扩展关键词,赋予词图中边关系以更多的语义信息,融合多维异质信息到无监督方法中,从而构建一整套无监督提取模型。随着研究不断深入,提取方法将融合有监督方法以完成小样本数据标注,同时,采用无监督特征,以提高提取精度,从特征数量、特征复杂度及词嵌入等异构信息融合得到半监督提取方法。下文针对半监督提取方法进行关键词提取分析。2.3 半监督提取方法关键词提取过程中涉及的特征比较多,各种算法依赖计算特征、人工标注数据或神经网络模型。大规模数据源不适合人工标注,完全采用神经网络模型可能会导致计算过程出现过拟合现象。基于半监督关键词提取方法中的有监督和无监督的关键词提取,减少人工标注的困难,同时为机器学习提供关键词提取的学习参考依据。近年来,以半监督为代表的典型关键词提取方法不断被提出。2 0 1 8年,文献8 4 利用部分标注数据和大部分未标注数据进行联合学习,提出一种基于半监督学习的关键词提取方法,该过程分为两部分,第一部分采用无监督T F-I D F和T e x t R a n k对未标记数据进行关键词提取,并完成去重,将结果与标注数据进行混合;第二部分使用多任务学习模型对上述混合数据进行联合学习训练,设置多任务共享同一个编码器,但解码器设置多个,用以适配不同的学习任务,从而完成半监督关键词提取。典型研究如下:G u n j a n等人8 5使用标签扩展算法,将小部分标记数据扩展,采用图稀疏化的KNN算法,实现基于图的半监督学习关键术 语提取。A b d h u l等人8 6基于半监督关键词提取算法和主题建模完成对事故报告