![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于预训练模型的医疗命名实体识别.pdf
《基于预训练模型的医疗命名实体识别.pdf》由会员分享,可在线阅读,更多相关《基于预训练模型的医疗命名实体识别.pdf(5页珍藏版)》请在咨信网上搜索。
1、2 0 2 4年3期2 0 9 2 0 2 4年第4 6卷第3期基于预训练模型的医疗命名实体识别凯比努尔赛地艾合买提基金项目:喀什大学校内课题:知识图谱构建中命名实体识别研究(2 0 2 0)2 7 3 7)作者简介:凯比努尔赛地艾合买提(1 9 8 4-),本科,实验师,研究方向为人工智能。(喀什大学计算机科学与技术学院 新疆 喀什8 4 4 0 0 8)摘 要 文中针对生物医学实体识别中存在的边界识别不准确和鲁棒性差的问题,提出了一种融合了预训练语言模型B E R T与跨度标签网络的命名实体识别模型。该模型利用B E R T获取文本的上下文信息,并结合跨度标签网络进行实体分类及边界判定,显
2、著提升了实体识别的准确性。为增强模型的鲁棒性,引入对抗训练策略,通过迭代训练正常样本与对抗样本,以优化模型参数。基于C C K S 2 0 1 9评测数据集的实验表明,应用对抗训练方法后,其精准率、召回率及F 1值均有所提升,验证了对抗训练能对提高模型的预测能力和鲁棒性的有效性。关键词:医疗命名实体识别;预训练模型;神经网络;对抗训练中图分类号 T P 3 9 1.1M e d i c a lN a m e dE n t i t yR e c o g n i t i o nB a s e do nP r e-t r a i n i n gM o d e lKA I B I NU E RS a
3、i d i a i h e m a i t i(S c h o o l o fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,K a s h iU n i v e r s i t y,K a s h i,X i n j i a n g8 4 4 0 0 8,C h i n a)A b s t r a c t A i m i n ga t t h ep r o b l e m so f i n a c c u r a t eb o u n d a r yr e c o g n i t i o na n dp o o rr o b u s
4、t n e s s i nb i o m e d i c a le n t i t yr e c o g n i-t i o n,t h i sp a p e rp r o p o s e san a m e de n t i t yr e c o g n i t i o nm o d e l t h a t c o m b i n e s t h ep r e-t r a i n e d l a n g u a g em o d e lB E R Tw i t ht h es p a nl a b e l n e t w o r k.T h em o d e l u s e sB E R T
5、t oo b t a i n t h e c o n t e x t i n f o r m a t i o no f t h e t e x t,a n dc o m b i n e s t h e s p a n l a b e l n e t-w o r kt oc l a s s i f ya n dd e t e r m i n e t h eb o u n d a r y,w h i c hs i g n i f i c a n t l y i m p r o v e s t h ea c c u r a c yo fe n t i t yr e c o g n i t i o n
6、.I no r d e r t oe n h a n c e t h e r o b u s t n e s so f t h em o d e l,a na d v e r s a r i a l t r a i n i n gs t r a t e g y i s i n t r o d u c e d,a n dt h en o r m a l s a m p l e sa n da d v e r s a-r i a l s a m p l e sa r et r a i n e di t e r a t i v e l yt oo p t i m i z et h em o d e
7、lp a r a m e t e r s.E x p e r i m e n t sb a s e do nt h eC C K S 2 0 1 9e v a l u a t i o nd a t a s e t s h o wt h a ta f t e ra p p l y i n gt h ea d v e r s a r i a l t r a i n i n gm e t h o d,i t sa c c u r a c y,r e c a l lr a t ea n dF 1v a l u ea r ei m p r o v e d,v e r i f y i n gt h ee
8、f f e c t i v e n e s so f a d v e r s a r i a l t r a i n i n gt o i m p r o v e t h ep r e d i c t i v ea b i l i t ya n dr o b u s t n e s so f t h em o d e l.K e y w o r d s M e d i c a l n a m e de n t i t yr e c o g n i t i o n,P r e t r a i n i n gm o d e l,N e u r a l n e t w o r k,C o n f r
9、 o n t a t i o nt r a i n i n g0 引言医学领域中的信息爆炸增长,使医疗数据成为临床医学和生物医学研究的重要支撑。然而,这些数据具有高度的复杂性和多样性,其中涵盖了丰富的实体信息,如疾病、药物、基因等。如何有效地从海量医疗信息中识别和提取出这些实体,成为医疗领域的一个关键问题。医疗命名实体识别作为自然语言处理领域的重要研究方向,旨在从文本中自动识别出具有特定意义的实体,如疾病、药物、基因等,以便更好地理解和利用医学信息。在现代医学实践中,临床医生和研究人员需要大量的医学信息来进行准确诊断,制定治疗方案并开展科学研究。然而,这些信息往往以非结构化的自然语言形式存在于
10、电子病历、医学文献中,难以直接利用。为从这些文本中获取有价值的信息,需要将其中的实体(如疾病名称、药物成分等)标识和提取出来,以便进一步的分析和应用。以临床电子病历为例,医生在记录患者的临床情况时,会使用丰富的医学术语来描述患者症状、诊断和治疗方案。这些术语可能包括通用名称、缩写、异名等多种形式,且存在多义性和上下文依赖性。如果能自动识别和标注这些实体,则可以提高临床信息的组织和检索效率,为临床决策和科研提供更准确的支持。然而,医疗信息中的实体命名识别问题并不简单。医学术语的多样性和复杂性、医学文本的非结构化特点等,使实体识别面临着许多挑战。同一实体可能有多个不同的名称和缩写,且在上下文中表现
11、出相似的特征。此外,医学领域的不断发展和新术语的涌现,还要求实体识别模型具备良好的适应性和泛化能力。现有的生物医学命名实体识别方法主要分为基于规则和词典的方法(规则方法)、基于机器学习的方法和基于深度学习的方法。规则方法是一种传统医疗命名实体识别方法,它依赖于预定义的规则和模式,通过匹配文本中的特定模式来确定实体的存在1。这种方法在匹配特定术语或模2 1 0 2 0 2 4年3期式时非常有效,但在处理复杂文本和多样化实体时表现不佳。规则-b a s e d方法基于事先设计好的规则集,这些规则可以基于词汇、语法结构、上下文关系等。例如,可以使用正则表达式来匹配特定的词汇模式,如医学疾病的常见名称
12、或药物的化学结构。当文本中的一段文字符合预定义的规则时,该方法将认为其中包含了特定的实体。规则-b a s e d方法不需要大量的标注数据和训练过程,而是直接基于规则集来进行实体识别,因此实现起来相对简单。可以根据领域知识和需求定制化设计规则,以适应特定领域的实体识别任务。规则-b a s e d方法适用于特定的模式或词汇,但在处理复杂、多样化的文本时可能会受到限制,无法有效处理实体的变化或多义性2。随着实体和规则的增多,维护规则集也变得复杂。对于大规模的文本数据和实体类别,规则的维护和更新可能变得耗时且容易出错。规则-b a s e d方法适用于一些简单且常见的实体识别任务。在临床病历中,可
13、以设计规则来识别常见的疾病名称,如“高血压”“糖尿病”等。在药物名称识别方面,可以使用化学结构等特征进行匹配。然而,对于具有复杂语境和变化的医学文本,规则-b a s e d方法的适用性会大打折扣。基于机器学习的方法在医疗命名实体识别领域得到了广泛应用,它通过训练模型来从文本中学习特征和模式,从而实现自动化的实体识别,如支持向量机、朴素贝叶斯等。它们可以基于提取的特征对文本中的实体进行分类,以判断某个词汇是否属于特定实体3。机器学习方法通过训练数据来学习模型,然后使用该模型来预测新文本中的实体。在医疗命名实体识别中,首先需要准备经过标注的训练数据集,其中包含文本和相应的实体标签。具体过程为从文
14、本中提取特征,如词汇、上下文等,将这些特征作为输入,训练机器学习模型。在训练完成后,该模型可以用于预测新文本中的实体。机器学习方法可以自动从数据中学习特征和模式,不需手动设计规则,且可以处理多个实体类别的识别任务,灵活性较高。机器学习方法需要应用大量经过标注的训练数据,这可能存在一定的挑战。机器学习方法的性能与特征工程密切相关,需要精心设计适合问题的特征。对于一些复杂的文本和多义性词汇,机器学习模型的泛化能力可能存在不足。机器学习方法在医疗命名实体识别中具有广泛应用。例如,在临床病历中,可以使用支持向量机等方法,通过学习上下文和特定术语的关联,自动识别出疾病、药物等实体;在生物医学研究中,这些
15、方法可以帮助识别基因、蛋白质等重要实体。随着深度学习方法的兴起,越来越多的研究关注于将深度学习应用于医疗命名实体识别。深度学习方法可以更好地处理上下文信息和语义关系,提高实体识别的准确性。此外,迁移学习、预训练模型等技术也在不断改进机器学习方法的性能,这使其在医学领域更具应用价值。深度学习方法在医疗命名实体识别领域取得了显著成果,它通过构建深层神经网络模型来自动学习文本中的特征和模式,从而实现高效、准确的实体识别。深度学习方法采用多层神经网络模型,如循环神经网络(R NN)、卷积神经网络(C NN)以及更先进的T r a n s f o r m e r模型等。这些模型可以自动从大量的文本数据中
16、学习特征表示,从而捕捉文本中的上下文和语义信息4。在医疗命名实体识别中,深度学习模型通常以词向量为输入,然后通过多个神经网络层来逐步提取抽象特征。模型的输出层会对每个词汇进行分类,判断其是否属于某个实体类别。Z HA I等使用双向长短时记忆网络(B I L S TM)构建了命名实体识别模型,该模型同时从两个方向输入信息,可以考虑到更多的上下文信息,有助于理解更广泛的语义环境,在通用数据集上表现出出色的泛化能力。为弥补双向长短时记忆网络-条件随机场(B i L S TM-C R F)模型无法获得两个实体之间的长距离依赖性的问题,Z E N G等提出了一种结合自注意力的B i L S TM-C R
17、 F模型。实验结果表明,改进后的命名实体识别方法对电子病历具有一定的适应性,且优于B i L S TM-C R F模型。Z HAN G等将迭代扩展卷积网络的输出与双向长短时记忆网络合并,然后将其输入到C R F层中,在公开的测试数据集上取得了较好的结果。尽管上述方法在N E R任务上产生了更好的结果,但它们仍不能很好地识别医生与患者对话中产生的专业术语和习语。尽管B i L S TM可以从两个方向获取文本信息,但其提取的语义特征仍然有限5。针对现有方法的不足,本文提出了一种结合预训练语言模型B E R T和跨度标签网络的医疗命名实体识别模型,并采用对抗训练的方法优化模型参数。首先,采用预训练词
18、向量模型B E R T进行语义提取,相较于传统的词向量模型,它能根据上下文生成动态词向量,使语义编码更精确。其次,采用一种基于跨度的标签指针网络,完成实体的起止位置和类别的识别任务,加快了模型的训练速度。最后,在模型训练过程中加入对抗训练策略,通过添加一些扰动来生成对抗样本,对模型进行训练,进而提高模型的鲁棒性。1 模型和方法1.1 B E R TB E R T-WWM预训练模型(见图1)由哈尔滨工业大学联合飞桨实验室发布。与G o o g l e发布的B E R T-B A S E模型不同,由于中文文本的语法和结构与英文文本存在显著差异,中文文本需要进行分词处理,即将连续的字符序列分割为独立
19、的词。然而,G o o g l e发布的中文版B E R T-B A S E模型采用字符分割的方式,没有考虑中文分词的情况。这导致B E R T-B A S E模型在中文语料库上进行预训练时,无法为语义表示添加词级语义表示。B E R T-WWM预训练模型的一个重要改进是在训练过程中对整个词进行掩码,而不是单个字符。这种全词掩码的方法能更好地保留句子的完整性和语义信息,使模型能更好地理解上下文并生成准确的预测结果。移动信息2 0 2 4年3期2 1 1 图1 B E R T-WWM预训练模型结构图B E R T-WWM预训练模型由E m b e d d i n g层和T r a n s-f o
20、 r m e r层组成。在E m b e d d i n g层中,输入句子T=(t1,t2,t n)模型的输入是一个T o k e n序列,由词嵌入(W o r de m b e d d i n g s)和位置嵌入(P o s i t i o ne m b e d d i n g s)组成。词嵌入用于将每个T o k e n映射成一个高维空间的向量,位置嵌入则用于表示T o k e n在序列中的位置信息。B E R T使用了多层的T r a n s-f o r m e r编码器。这些编码器堆叠在一起,形成了深层的神经网络。每个编码器由两个子层组成,即多头自注意力机制(M u l t i-H e
21、 a dS e l fA t t e n t i o n)和前馈神经网络(F e e d f o r-w a r dN e u r a lN e t w o r k),每个子层后都有一个残差连接和层归一化6。多头注意力机制使用多组注意力权重,使模型可以学习不同位置之间的关系,这使B E R T能在不同抽象级别上捕捉输入序列的信息。T r a n s f o r m e r模型结构主要包括E n c o d e r和D e c o d e r两个部分,其中每个部分都由多个相同的子层堆叠而成。每个子层包含两个线性层和一个激活函数,并应用了残差连接和层标准化的方法。在E n c o d e r部分,
22、子层采用多头注意力机制和前馈神经网络(F F N)。而在D e c o d e r部分,除了存在与E n c o d e r相似的子层外,还有一个M a s k e d M u l t i-H e a dA t t e n t i o n层。该层可以对E n c o d e r的输出执行多头注意力操作。在E n c o d e r-D e c o d e r架构中,中间的E n c o d e r会将输入序列编码为向量表示,然后通过D e c o d e r生成输出序列。其中,多头注意力机制是T r a n s f o r m e r层的核心,其主要思想是通过计算词与词之间的相似度来调整词的权
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 训练 模型 医疗 命名 实体 识别
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。