大模型关联度预测的形式化和语义解释研究.pdf
《大模型关联度预测的形式化和语义解释研究.pdf》由会员分享,可在线阅读,更多相关《大模型关联度预测的形式化和语义解释研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、DOI:10.11992/tis.202306045大模型关联度预测的形式化和语义解释研究陈小平(中国科学技术大学 计算机科学与技术学院,安徽 合肥 230026)摘 要:本文探讨“大型语言模型是什么”的问题。为此对大模型的评判标准展开实验观察,对大模型的基础设施关联度预测进行直观分析,构建关联度预测的一种形式化 LC,进而研究关联度预测的语义解释。在此基础上讨论大模型的真实性挑战、共识挑战、内容属性挑战和非封闭性挑战。主要发现包括:语元关联度是体现人类语言习惯的可自动提取的语言痕迹;关联度预测具有语境相关的统计性质;LC具有弱共识性实质语义;LC是一个非概念化公理系统。这些特点颠覆了科学理论
2、、形式化方法和软件的传统理念在人工智能领域的主导地位,是大模型输出既出人预料、又符合语言习惯的深层原因。关键词:大模型;形式化;语义;概念化;弱共识中图分类号:TP391 文献标志码:A 文章编号:16734785(2023)04089407中文引用格式:陈小平.大模型关联度预测的形式化和语义解释研究 J.智能系统学报,2023,18(4):894900.英文引用格式:CHEN Xiaoping.Research on formalization and semantic interpretations of correlation degree prediction in largelang
3、uage modelsJ.CAAI transactions on intelligent systems,2023,18(4):894900.Research on formalization and semantic interpretations of correlationdegree prediction in large language modelsCHEN Xiaoping(School of Computer Science and Technology,University of Science and Technology of China,Hefei 230026,Ch
4、ina)Abstract:To explore the problem of what a large language model is,we conduct experimental observation on the evalu-ation criteria for large language models,intuitively analyze the infrastructure of large language modelscorrelationdegree prediction,of which a formalization LC is constructed and s
5、emantic interpretations are explored.On top of these,four challenges of truthfulness,consensus,content attribute,and non-closeness for large language models are discussed.The main findings include:the correlation degrees between tokens are automatically extractable language traces that re-flect huma
6、n language habits;correlation degree prediction has the context-sensitive statistical property;LC has a sub-stantive semantics of weak consensus;LC is a non-conceptualized axiomatic system.These radically differ from the tra-ditional notions of scientific theory,formal methods,artificial intelligenc
7、e(AI)and software,and are the deep reasonswhy large language models can behave unexpectedly yet consistent with human language habits.Keywords:large language models;formalization;semantics;conceptualization;weak consensus 当前大型语言模型(简称大模型)基础研究的首要问题是:大模型是什么?这一问题引起了普遍困惑和关注,不仅波及面广,而且涉及基础研究中的多项颠覆。为此,本文以相应
8、的非常规思路展开探讨。首先从普通用户对大模型的评判标准入手,尝试理解大模型引发普遍反应的真实原因。其次,针对大模型的基础设施关联度预测,进行直观分析。在此基础上探索大模型的理论研究,构造关联度预测的一种形式化,包括形式公理系统 LC及其语义结构分析,以澄清关联度预测的基础特性语境相关的统计性质、弱共收稿日期:20230620.基金项目:国家自然科学基金项目(92048301,U1613216);国家重点研发计划项目(2020YFB1313602).通信作者:陈小平.E-mail:.第 18 卷第 4 期智能系统学报Vol.18 No.42023 年 7 月CAAI Transactions o
9、n Intelligent SystemsJul.2023智能系统学报编辑部版权所有识性实质语义和非概念化公理系统。弱共识性和非概念化等特性颠覆了科学理论、形式化方法和软件的基本理念在人工智能领域的传统支配地位,是大模型得以产生既出人预料、又符合人类语言习惯的效果的深层原因。依据这些特性,进一步讨论大模型带来的 4 项新挑战真实性挑战、共识挑战、内容属性挑战和非封闭性挑战。1 实验观察:语言运用的习惯性自然语言人机交互是大模型的核心功能。因此,普通用户对大模型的反应是大模型研究的重要内容之一。目前全球几亿人对大模型做了测试,人提出问题,大模型回答,人评判回答是否正确。普通用户正是根据这种评判,
10、来决定是否接受大模型。所以,普通用户的评判标准具有决定性作用,有必要对其加以研究。人类对推理进行了 2 000 多年持续性研究,形成了推理的各种定义,这些定义可以作为评判大模型推理能力的专业性标准。以此为基础,本文对大模型进行了实验观察。首先反复向 ChatGPT提出一个有关推理的问题,收集它的所有回答,然后分析回答所依据的评判标准。所有回答中最好的一个如下。问:在王之涣的登鹳雀楼中,出现了哪些推理?请回答得尽可能全面。答:在这首古诗中,包含了一些简单的逻辑推理和推断。具体如下:1)“白日依山尽”和“黄河入海流”这 2 句诗句都是对自然现象的描述,暗示了时间的流逝和河流的长远,这可以看作是对现
11、象的归纳推理;2)“欲穷千里目”这句话表达了诗人想要看到更远的景象,这可以看作是一种归纳推理,即从局部的现象中推断出更广阔的事物;3)“更上一层楼”这句话则是根据前面的推理得出的结论,即要看到更远的景象,就需要站在更高的地方,这可以看作是一种演绎推理。综上所述,这首古诗中出现的推理包括归纳推理和演绎推理。归纳推理的一种定义是:归纳是从个别到一般的推理。回答 1)和回答 2)是符合这个定义的,而且网上可以找到有关归纳推理的大量类似的说法。但是,归纳推理还应符合推理的一般定义推理是前提与结论之间关系,而前提和结论都是用语言表达出来的。回答 1)和回答 2)显然不符合这个一般定义,而这一定义在网上很
12、少出现。演绎推理的一种定义是:在给定条件下,如果前提成立,则结论一定成立。回答 3)认为第 3 句与第 4 句之间是演绎推理关系,这也符合网上的流行说法。然而,实际上第 3 句是表达愿望的,第 4 句可理解为表达愿望或表达行动,但后一理解与全诗的意趣不符,舍去。于是,第 3 句和第4 句作为愿望的表达,它们之间并非演绎推理关系,因为在给定条件下,从第 3 句表达的愿望,不仅可以诱发“更上一层楼”的愿望,也可引发其他愿望如“变作一只鸟”。这表明,确定适当的评判标准,有时并不容易。一般情况下,普通用户不会仔细推敲评判标准,而是依据自己的经验(大脑的第一反应)做出评判。与推理相比较,理解、学习、决策
13、、规划等功能的评判甚至更加复杂,所以普通用户更不会仔细推敲对应的评判标准。还有一些评判,比如对语言流畅性的评判,也难以依据严格的标准进行,凭感觉反而更准确。总之,普通用户对大模型的评判所依据的,主要是个人的语言经验而非科学标准,本文称之为“习惯性评判”,而相应的科学标准往往尚未建立起来。值得注意的是,人对大模型语言运用的评判与人对自己语言运用的评判,采用的评判标准是相同的,不可能另设一套标准。既然人对自身的语言运用是否正确采取习惯性评判,那么人的语言运用也一定是依据习惯的,即根据自己的语言运用习惯回答问题,这样做具有现实可行性。实验得出的主要观察是:人的语言运用通常是习惯性的,并根据自己的语言
14、习惯评判大模型的行为。这一观察为理解大部分普通用户对大模型的反应、认识大模型人机交互的应用特点,提供了重要参考。2 大模型的基础设施:关联度预测根据 Andrej Karpthy 在微软 Build 2023 开发者大会专题演讲中的介绍,基础模型预训练占大模型整个训练计算时间的 99%,这一关键事实揭示了基础模型预训练的重大意义。基础模型预训练的目标是利用语元关联度预测下一个语元(简称关联度预测)。因此,关联度预测是整个大模型技术体系的基础设施,在很大程度上决定了大模型的行为和性能。在人工智能(artificial intelligence,AI)领域,Bengio 等1提出了关联度预测的最初
15、想法。支持该想法的一项关键技术是利用词向量间的距离表达文本语义关系的距离2。Transformer3可以有第 4 期陈小平:大模型关联度预测的形式化和语义解释研究895 效提取不同上下文中单词和句子的文本语义,成为目前大模型的基础架构。另一项关键技术是在海量无标注语料上进行预训练的自监督训练方法4。其他一些技术也为大模型的工程实现发挥了作用。大模型技术中,语元(token)指的是字、词和标点符号,或者由字词和标点符号组成的字符串(实际训练中往往使用其他类型的符号串,如字符编码中的字节)。下面用一个极度简化的例子,帮助说明什么是关联度预测。考虑只有 2 个不同句子的语料,2 个句子在语料中重复出
16、现,出现的概率分别为 0.6 和 0.4,如表 1 所示。表 1 2 个句子及其概率Table 1 Two sentences and their probabilities 句子概率我要上网,请打开浏览器。0.6我要听歌,请打开音箱。0.4 针对表 1 中的语料,可以生成一个关联概率图,如图 1 所示。图 1 中的每一个结点(椭圆)代表语料中的一个语元,每一个箭头代表 2 个语元之间的关联(又称依赖),箭头上的数字是关联的概率。如语元“要”与语元“上网”的关联概率为0.6,与“听歌”的关联概率为 0.4。我要上网听歌请,。打开音箱浏览器111110.40.60.40.611 图 1 2 个句
17、子的关联概率Fig.1 Correlation probability graph of the two sentences 任意给定一个语元,可以根据关联概率预测下一个语元是什么、出现的概率多大。比如给定语元“我”,根据图 1 可预测下一个语元是“要”的概率为 1;给定“打开”,下一个语元是“浏览器”或“音箱”的概率分别为 0.6 或 0.4。当下一个语元有多种可能时,最简单的办法是选关联概率最高的语元为预测结果,如选“浏览器”为“打开”之后的下一个语元。这个预测的正确率为 60%,错误率达 40%。如果能够根据已经出现的多个语元进行预测,则可大幅降低预测错误率。例如,如果已经出现了“听歌”
18、和“打开”,则可做出预测:下一个语元是“音箱”的概率为 1,这个预测的错误率降到0。不过,“听歌”与“音箱”相距很远,它们之间的关联概率没有包含在图 1 中。事实上,图 1 只包含相邻语元之间的关联概率,而降低预测错误率需要综合利用相邻和不相邻(尤其远距离)语元之间的关联概率。大模型以人类规模的原始语料作为训练样本。有人估计,ChatGPT 的训练样本达到互联网文本总量的 1/32/3。从这么多语料中提取远距离语元之间的关联概率所需的计算量远远超过目前的计算能力。另一方面,按现有概率、统计方法进行预测,效果未必好。为此,人工智能引入了精巧的启发式方法3,对不同距离的语元自动提取关联概率的某种近
19、似。本文称这种近似为语元关联的强度,简称关联度,远距离语元之间的关联度简称远程关联度。大量远程关联度的使用为提升大模型的性能发挥了关键作用。对于用户提出的一个问题,大模型对大量关联度进行综合,根据综合结果预测该问题的下一个语元、下下个语元,直到产生一个完整的回答。这是一种启发式统计预测,是本文的主要研究对象。为了达到实用要求,还需对预训练模型做后续优化,主要包括模型细调(fine-tuning,又译精调、微调)5-6和提示(prompting)工程7,这些内容不在本文形式化研究的范围内。3 关联度预测的形式化关联度预测是现有数学模型不能刻画的一种新机制。本节为关联度预测构建一种新的形式公理系统
20、 LC,下节考察 LC的语义解释。ajiakajian1ajian1an1an1an1aiiaiLC的形式语言包括 3 类语法元素:1)语元符号 a,b,c,a1,a2,,代表语元;2)序列项(1ijn),代表语元序列,简记为,其中(ikj)为语元符号;3)函数符号 C,用于组成关联度表达式 C(,b|)(1ijn),代表语元序列与语元 b 在语境下的关联度,C(,b|)简写为 C(,b),简写为。aian1a1a2anLC有如下 2 条公理,其中、b、c 是任意语元符号,=(1n)是任意序列项。aian1公理 1 0C(,b|)1;ni=1(aian1aian1an1an1公理 2C(,b|
21、)C(,c|)C(,b)C(,c)。896智能系统学报第 18 卷 an1ai公理 1 称为语境关联度公理,它假定任何语境下,语元与另一语元 b 之间都有值在 0,1 中的关联度。在实际应用中,大模型训练中没有实际获得的所有关联度的值可虚设为 0,从而在形式上满足公理 1 的要求,但可能对实际效果产生严重影响,引发非封闭性挑战(见第 5 节)。an1an1aiaian1aiaian1aian1an1an1公理 2 称为综合单调性公理,它假定语元序列与语元 b 的关联度 C(,b)由序列中每个语元(i=1,2,n)与语元 b 的关联度 c(,b|)综合得出,并且这种综合具有单调性,即如果对每个有
22、 C(,b|)C(,c|),则 C(,b)C(,c)。因此,综合单调性隐含着关联度的可综合性。an1公理 2 还有一种稍显复杂的形式,针对的是预测在语元序列的第 k(1kn)个位置上出现的下一个语元,而不是预测整个序列之后出现的下一个语元,表达为k1i=1(aian1aian1ni=k+1aian1aian1an1an1,c)公理 2 C(,b|)C(,c|)(C(,b|)C(,c|)C(,b)C(。显然,公理 2 是公理 2当 k=n+1 时的特例。然而就本文目的而言,只需针对公理 2 展开讨论就够了。注意 LC不包含有关预测规则的公理。仅当需要考虑预测规则时,在 LC上加以补充相应的公理,
23、如刻画预测的最大化规则的公理 3,从而得到类 LC公理系统。argmaxban1公理 3 c(,b)。an1公理 3 称为预测选择公理,它规定选择使c(,b)取最大值的语元 b 作为预测结果。选用不同的预测规则,预测结果可能不同,但整个预测过程同样遵循 LC的公理 1 和公理 2。大模型实验表明,不同的预测规则各有长短,适合于不同场合,不宜强求统一。所以,本文在 LC中不预置预测选择公理,而是需要时在 LC上进行补充,形成相应的类 LC。an1aian1an1an1an1在类 LC中,关联度预测包含 2 个主要步骤关联度综合和依据给定预测规则的选择。假设采用最大化规则,对应的预测过程如下:1)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模型 关联 预测 形式化 语义 解释 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。