针对情境感知的自然语言的因果去偏推理方法.pdf
《针对情境感知的自然语言的因果去偏推理方法.pdf》由会员分享,可在线阅读,更多相关《针对情境感知的自然语言的因果去偏推理方法.pdf(12页珍藏版)》请在咨信网上搜索。
1、针对情境感知的自然语言的因果去偏推理方法张大操1,2张琨1,2吴乐1,2汪萌1,21(合肥工业大学计算机与信息学院合肥230027)2(大数据知识工程重点实验室(合肥工业大学)合肥230027)()Causal-Based Debiased Reasoning Method for Grounded Textual EntailmentZhangDacao1,2,ZhangKun1,2,WuLe1,2,andWangMeng1,21(College of Computer and Information,Hefei University of Technology,Hefei 230027)2
2、(Key Laboratory of Knowledge Engineering with Big Data(Hefei University of Technology),Hefei 230027)AbstractGroundedtextualentailment(GTE)requiresanagenttodistinguishtheinferencerelationsbetweenpremiseandhypothesissentencesbasedongivencontext.Whilesignificantprogresshasbeenmadetoenhancerepresentatio
3、nlearningbyusingcontextualinformation.However,currentmethodsoverlookspuriouscorrelationsbetweencontextandinputsentences,leadingtopoormodelgeneralizationandrobustness.Moreover,existingdebiasingtechniquesfailtofullyconsidertheimpactofcontextualinformationoninferenceprocesses,resultingininaccurateident
4、ificationofspuriouscorrelations.Toaddresstheseissues,weproposeanovelcausal-baseddebiasedreasoningmethod(CBDRM)that integrates causal inference methods while fully considering contextual information.Specifically,we firstconstructacausalgraphthroughstatisticalanalysistoaccuratelydescribetherelationshi
5、pbetweendifferentvariablesamongtheinputdata.Then,wecalculatethetotalcausaleffectofinputdataonthepredictionresultsbyusingabiasedpre-trainingmodel.Additionally,thedirectcausaleffectcausedbyspuriouscorrelationsarecalculatedbyusingcounterfactualmethods.Byremovingthedirectcausaleffectfromthetotalcausalef
6、fect,CBDRMachievesunbiasedinference relation prediction.Furthermore,we take the impact of context into consideration and design a novelcontrastive learning module to improve the unbiased inference performance of CBDRM.Finally,extensiveexperimentsoverpubliclyavailabledatasetsdemonstratethesuperiority
7、andeffectivenessofourproposedCBDRM.Moreover,weconstructandreleaseanunbiasedGTEchallengesettopromotetherelatedresearch.Key words grounded textual entailment;spurious correlations;debiased reasoning;causal effect;contrastivelearning摘要情境感知的自然语言推理任务要求模型能够根据给定情境信息判断前提句子与假设句子之间的语义推理关系.大量的研究工作通过利用情境信息增强对输入
8、句子的语义表征学习,取得了显著的效果.然而,这些方法忽略了情境信息以及输入句子之间存在的虚假关联,导致模型存在泛化性及鲁棒性差的问题.同时,已有的去偏方法未能充分考虑语义推理过程中情境信息的影响,造成情境信息利用不充分、虚假关联识别不准确的问题.针对以上问题,通过融合因果推断方法,提出一种全新的因果去偏推理方法CBDRM(causal-baseddebiasedreasoningmethod),在充分考虑情境信息的条件下,缓解模型在推理过程中收稿日期:2023-03-31;修回日期:2023-06-05基金项目:国家重点研发计划(2021ZD0111802);国家自然科学基金青年科学基金项目(
9、62006066);国家自然科学基金联合基金(U22A2094)ThisworkwassupportedbytheNationalKeyResearchandDevelopmentProgramofChina(2021ZD0111802),theNationalNaturalScienceFoundationofChinaforYoungScientists(62006066),andtheJointFundsoftheNationalNaturalScienceFoundationofChina(U22A2094).通信作者:张琨()计 算 机 研 究 与 发 展DOI:10.7544/is
10、sn1000-1239.202330248JournalofComputerResearchandDevelopment60(8):17681779,2023受到的有偏信息的影响.具体而言,首先通过统计分析为输入数据构建因果图,实现对输入数据中的不同变量之间的关系的准确刻画;在此基础上,利用预训练模型的有偏训练实现输入数据对预测结果的总因果效应的计算.同时,利用因果反事实方法实现计算数据中的虚假关联所导致的直接因果效应.通过从总因果效应中去除虚假关联所带来的直接因果效应,实现了对输入句子的语义推理关系的无偏预测.更进一步,考虑到在语义推理过程中情境信息对语义表达的影响,设计了一个全新的对比学习
11、模块,实现了在考虑情境信息的情况下输入文本的语义表示,进一步提升了模型的无偏推理性能.最后,在公开数据集上进行了大量的实验验证.实验结果充分证明了所提出的方法的有效性.为了对无偏自然语言推理方法进行更好的评估,构建并公开了一个无偏的情境感知的自然语言推理挑战集,用于推动该领域的相关研究.关键词情境感知;虚假关联;去偏推理;因果效应;对比学习中图法分类号TP391自然语言推理(naturallanguageinference,NLI)是自然语言处理研究中的一个基础但重要的研究任务.该任务要求模型能够准确理解并分析前提句子和假设句子之间的语义推理关系,即蕴含(entailment)、矛盾(cont
12、radiction),或者中立(neutral),是文本表示的一个典型应用,对信息检索、问答系统、对话系统等领域的发展有着重要的研究意义和应用价值1-2.伴随着深度学习,特别是预训练语言模型的迅速发展,大量针对自然语言推理的相关工作被提出并取得了突出成绩3-5,甚至在一些数据集上的表现超越了人类6.与此同时,有研究指出现有的语义推理模型在很大程度上利用了数据中的虚假关联,并未真正理解输入句子的语义表示,导致模型在实际应用中存在泛化能力差的问题.如图 1 所示,训练集中存在大量词汇重叠的蕴含样本,但是大量词汇重叠的语言偏见并不能作为判断蕴含关系的特征,如果模型对该语言偏见过度依赖,就会对测试集中
13、存在词汇重叠但关系为矛盾的样本做出错误的判断.文献 78 利用一些启发式的方法生成了一些不包含虚假关联的测试集,验证了现有模型在语义推理时存在对语言偏见高度依赖的问题.文献 910 通过仅使用假设句进行训练和推理,发现预测效果远高于随机猜测,从模型的角度证明了假设句子和标签之间的虚假关联会导致模型的语义表示学习有偏.因此,如何有效缓解数据中的语言偏差对模型语义表示学习及推理的影响成为当前自然语言推理研究的一个热点问题.在去偏自然语言推理研究中,结合因果推断(causalinference)实现无偏学习是一个非常具有潜力的研究方向11.通过识别、区分观测数据中的虚假关联,因果推断方法能够缓解模型
14、对这些虚假关联的依赖,其中反事实推理就是一种代表性的研究手段.例如自然语言推理中针对模型依赖假设句的语言偏见,反事实推理会假设:“如果模型只看到假设句子,模型的预测结果是什么”.通过对比模型在真实世界中观测到完整数据的预测结果以及在反事实世界中观测到假设句子的预测结果,模型对假设句中语言偏见的依赖就能够被有效缓解.在该方向上,研究人员已经进行了初步的尝试.从数据角度,文献 78,1214 通过生成反事实的样本消除数据中存在的语言偏差,保证模型学习的无偏数据基础.从模型角度,文献 15 通过反转假设句反向传播的梯度,阻止编码器学习到假设句所带来的有偏信息;文献 16 通过比较样本与反事实样本之间
15、的差异和它们的预测结果之间的差异让模型学会利用反事实的思维去进行预测;文献 1718 则从传统预测结果的有偏性出发,通过在预测时减去文本所带来的有偏信息,从而实现无偏推理.虽然这些文献工作7-8,12-18已经取得了一定的效果,但仍存在一些不足.具体而言,文本语义表达存在多义、歧义、模糊等问题,引入情境信息是保证文本语义准确表示的一种代表性方法.如图 2 所示,针对相同的前提句和假设句,不同的情境信息能够明确句子的语义表示,从而导致 2 个句子之间的语义推理关系出现不同,体现了情境信息在自然语言推理建模过程中的重要性和必要性.文献 19 也指出训练集中的样本(蕴含):前提:A man wear
16、ing a black shirt and a small boy are working on a door.假设:The man in a black shirt with a small boy is working on something.前提:A lady with glasses holds a baby who is looking up at her.假设:A lady with glasses is holding a baby.前提:A little boy sits on his fathers shoulders with balloons.假设:The boy wa
17、s on his fathers shoulders with his balloons.测试集中的样本(矛盾):前提:A one-armed man in a brown shirt sits in a chair facing the camera.假设:The two-armed man is in the chair facing the camera.Fig.1Examplesoflanguagebiasinthedataset图1数据集中的语言偏见示例张大操等:针对情境感知的自然语言的因果去偏推理方法1769情境信息对文本语义表示与推理的必要性,同时文献 20 提出了一种全新的情境
18、感知的自然语言推理任务,通过为文本句子提供图像情境信息,研究更符合应用场景的自然语言推理.因此,在去偏自然语言推理研究中同样需要充分考虑情境信息.然而,情境信息的引入会为自然语言推理带来更多的挑战.情境信息与文本句子之间是否存在虚假关联,情境信息是否有助于缓解语言偏见对模型的语义表示学习的有偏影响,这些都是情境感知的无偏自然语言推理所必须解决的问题.标签:蕴含标签:矛盾前提:A woman is playing tennis.假设:The woman is wearing a white shirt.Fig.2Different contextual information leads to
19、differentrelationships图2不同情境信息导致关系不同为了解决这些问题,我们通过融合因果推断方法,提出了一种全新的因果去偏推理方法 CBDRM(causal-baseddebiasedreasoningmethod),用于缓解模型在文本语义表示及自然语言推理中语言偏见所带来的有偏影响.具体而言,先使用预训练模型在原始数据集上微调得到一个有偏模型,将这个模型的预测结果视为输入数据对标签的总因果效应;然后通过添加仅将假设句作为输入的额外支路来捕获数据集中的假设句带来的语言偏见,利用因果反事实方法将其建模为语言偏见所导致的直接因果效应;最后通过从总因果效应中减去语言偏见导致的直接因
20、果效应,得到去偏之后的预测结果.此外,为了进一步提高模型对情境信息的理解,本文设计了一个对比学习模块,让模型在推理时充分考虑图片情境信息来缓解语言偏见,提高模型的无偏推理性能.然后在自然语言推理、视觉蕴含(visualentailment,VE)任务和情境感知的自然语言推理(groundedtextentail-ment,GTE)任务上进行了大量充分的实验,用于证明本文所提出方法的有效性.同时,还为情境感知的自然语言推理任务构造了一个无偏的挑战测试集,并将相关测试集数据公开,以促进相关研究的发展.本文的贡献主要包括:1)提出情境信息对无偏自然语言推理有着重要的影响作用,并将因果推断相关技术引入
21、到情境感知的无偏自然语言推理建模中.2)提出一种全新的因果去偏推理方法 CBDRM,用于去除语言偏见,实现更高质量的情境感知的无偏自然语言推理.3)在公开的数据集上进行了大量的实验,充分验证了模型的有效性,同时构造并公开了一个无偏的情境感知的自然语言推理挑战集,以丰富该领域的相关研究.1相关工作本节将介绍与情境感知的无偏自然语言推理相关的研究工作,主要分为因果推断方法、情境感知的自然语言推理、基于对比学习的语义表示方法.1.1因果推断方法近年来在文本去偏方向的研究工作有很多,这些方法主要可以分为 2 类:一类从数据集的角度出发,致力于去除数据集中存在的语言偏见,从根源上解决问题;另一类则从模型
22、的角度出发,通过隐式或显式的方式去除学习到的语言偏见.这 2 类方法各有优缺点.首先,第 1 类方法都是从数据集角度考虑生成一些新的样本来缓解原数据集中的语言偏见.文献78,12 通过统计自然语言推理数据集中假设句的生成方式来推测偏差来源,然后设计了独特的启发式的方式生成新的样本;文献 13 通过人工以最小的扰动修改前提句或假设句,生成与原样本关系不同的反事实样本;文献 14 通过人类与模型对抗的方式让人类合成可以欺骗模型的样本.通过将这些生成的样本与现有数据集里的样本融合,让模型取得更好的效果.但是这些基于数据的方法也有一些不足,例如自动生成的方式并不能涵盖所有类型的偏差,同时人工标注的方式
23、面临成本过高的问题.其次,从模型角度考虑的方法也有很多.文献15 通过增加一个仅使用假设句作为输入的支路来学习假设句所带来的偏差,然后在梯度回传时将梯度反向以抑制模型学习到有偏信息;文献 16 利用向量的正交分解思想,从样本中分解出只和上下文有关的分量,再通过分量合成反事实样本,综合比较样本之间的差异以及预测结果之间的差异实现反事1770计算机研究与发展2023,60(8)实推理;文献21 在视觉问答(visualquestionanswering,VQA)任务上通过增加仅假设支路来缩小容易分类的样本损失,放大需要多模态信息才能分类正确的样本损失来强迫模型学习多模态信息.这些基于模型的方法虽然
24、避免了高成本的标注问题,也取得了一定的效果,但是它们大多依赖于精巧的平衡策略的设计,可解释性也比较差.因此另一些基于结构因果模型(structuralcausalmodel,SCM)的方法也逐渐被提出.文献 17 通过构建 VQA 任务的因果模型,将VQA 任务中的语言偏见视为直接因果效应,通过从总的因果效应中减去文本的直接因果效应,得到去偏之后的间接因果效应,然后进行预测;文献 18 关注文本分类任务中的标签偏差和关键词偏差,把它们视为混杂因素,并将它们从句子中蒸馏出来,通过使用有偏的预测结果减去偏差,得到去偏之后的预测结果.这些基于因果模型的方法有着比较完备的理论基础22,在有效性和可解释
25、性上面都有明显的优势.1.2情境感知的自然语言推理近年来,已经提出了一些任务来结合语言和视觉 2 个模态,包括图像捕获(imagecaptioning,IC)23-24、VQA25-26、视觉推理(visualreasoning)27和视觉对话(visualdialogue)28等.但在情境感知的自然语言推理方面所做的工作很少.为了更好地理解图片和文本之间的关系,也有一些工作提出了视觉蕴涵(visualentailment,VE)任务29-30,即把自然语言推理任务中的前提句用图像替代,推理图像和假设句之间的关系,但是这并不能确定在自然语言推理任务中引入情境信息是否可以提高模型的推理能力.所以
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 针对 情境 感知 自然语言 因果 推理 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。