从ChatGPT到Sora发展中的术语问题.pdf

中国科技术语/2024 年 第 26 卷 第 2 期从 ChatGPT 到 Sora 发展中的术语问题冯志伟(新疆大学,新疆乌鲁木齐 830046)摘 要:在从 ChatGPT 到 Sora 的发展过程中,出现了不少新术语。这些术语,有的被翻译为中文,有的一直使用英文原文。文章在分析这些新术语的相关技术、概念的基础上,探讨如何为其翻译或者赋予适当的中文名称。并指出大量科技新术语不能够及时、高效地被本土化,这对我国的术语规范化工作提出了新的挑战,期望学界共同关注这一问题。关键词:人工智能;ChatGPT;Sora;Transformer;token;scaling law中图分类号:H083;G20 文献标识码:A DOI:10.12339/j.issn.1673-8578.2024.02.012Term Problem in the Development from ChatGPT to Sora/FENG Zhiwei Abstract:In the process of development from ChatGPT to Sora,many new terms have emerged.Some of these terms have been trans-lated into Chinese,while some still use the original English.This paper points out these issues,hoping to draw everyones attention.In the process of development from ChatGPT to Sora,many new terms have emerged.Some of these terms have been translated into Chinese,while others still use the original English text.On the basis of analyzing the relevant technologies and concepts of these new terms,the author discusses their Chinese names and points out that a large number of new terms cannot be localized in a timely and efficient manner,which poses new challenges to the standardization of terminology in China.It is expected that the academic commu-nity will pay attention to this issue together.Keywords:artificial intelligence;ChatGPT;Sora;Transformer;token;scaling law收稿日期:2024-02-26 修回日期:2024-03-06 2022 年 11 月,ChatGPT 发布,人们惊异于其超强的自然语言生成能力。2024 年 2 月 15 日,Sora的文生视频能力堪称以假乱真。从 ChatGPT 到 So-ra,人工智能的发展日新月异,不断刷新着人类对生成式人工智能的认识。现在我们已经进入了大语言模型(Large Language Models,LLM)时代,本文讨论大语言模型的发展,并探讨其发展过程中出现的术语翻译问题。1 大语言模型的发展大语言模型是一种由包含数百亿以上参数的深度神经网络构建的语言模型。大语言模型通常使用自监督学习(self-supervised learning)方法通过大量无标注文本进行训练。自 2018 年以来,谷歌(Google)、OpenAI、Meta、百度、华为等公司和研究机构都相继发布了包括 BERT、GPT 等在内的多种大语言模型,这些模型在几乎所有自然语言处理任务中都表现出色。由于大语言模型处理的对象是自然语言,因此,大语言模型是人工智能的重大成果,当然也是计算语言学的重大成果1。目前,大语言模型呈现出爆发式的增长局面,特别是 OpenAI 公司在2022 年 11 月 发布 ChatGPT(Chat Generative Pre-trained Transformer)之后,更是引起了全世界的广泛关注。用户可以使用自然语言与 ChatGPT 交互,从而完成包括问答、分类、摘要、翻译、聊天等从自然语言理解到自然语言生成的各种任务。在这些任务中,大语言模型展现出了强大的自然语言理解和生成的能力。大语言模型的发展历程虽然只有短短几年的时间,但是发展速度相当惊人。截至 2023 年 6 月,国内外已经有超过百种的大语言模型相继发布。ChatGPT 是一个基于 OpenAI 技术的大语言模88论 坛型,在计算语言学方面,ChatGPT 拥有广泛的应用,包括:(1)文本生成:ChatGPT 可以生成各种类型的文本,例如新闻报道、电影剧本、小说和诗歌等;(2)机器翻译:ChatGPT 可以将一种语言自动转换为另一种语言,例如将英语翻译成中文;(3)语音识别:ChatGPT 可以将自然语言的语音转换为文本,从而实现语音识别;(4)自然语言理解:Chat-GPT 可以理解人类的自然语言,并提取出其中的关键信息,例如情感分析、问答系统和命名实体识别等;(5)文本分类:ChatGPT 可以根据文本内容对其进行分类,例如垃圾邮件过滤或情感分类。因此,ChatGPT 对于计算语言学的研究具有很大的作用,它可以帮助人们更好地理解和使用自然语言,也可以为企业和研究机构提供高效的自然语言处理解决方案。2023 年 4 月 13 日,来自 OpenAI 的合作伙伴微软的 Sebastien Bubeck、Varun Chandrasekaran 等发表了一篇论文通用人工智能的火花:GPT-4 的早期实验(Sparks of Artificial General Intelligence:Early experiments with GPT-4)。这篇论文指出,在GPT-4 发布后,面对这个目前性能最强大的人工智能,很多人将 GPT-4 看作通用人工智能(Artifi-cial General Intelligence,AGI)的火花。这篇论文中提到:“GPT-4 不仅掌握了语言,还能解决涵盖数学、编码、视觉、医学、法律、心理学等领域的前沿任务,且不需要人为增加任何的特殊提示。并且在所有上述任务中,GPT-4 的性能水平都几乎与人类水平相当。基于 GPT-4 功能的广度和深度,我们相信它可以合理地被看作是通用人工智能(AGI)的最接近的但不完全的版本。”2现在的大多数大语言模型仅接受文本训练,因而并不具备在现实世界中说话、听声、闻嗅、触摸以及生活行动的能力。仅在文本上训练的语言模型,只能保证它们在语法上正确。但在本质上,它不理解语言所指的对象,也缺乏与环境直接接触的常识。这是当前大语言模型的主要局限性。人对于自然语言的理解除了依靠语言内部的各种关系的知识之外,还需要依靠外部物理世界、外部精神世界和外部社会历史世界等背景知识。自然语言文本中的每一个符号、每一个合乎语言结构规则的符号串,在人脑中都与外部的客观世界存在着千丝万缕的联系。这些复杂联系不仅以语言数据(绝大部分是文本数据,也有少量的语音数据)中的符号形式表现出来,还具有更深入的心理感情表征以及社会文化背景。ChatGPT 使用生成式预训练模型从大规模的语言数据中获取的各种参数,基本上都是基于自然语言数据的参数,还没有这些语言数据与语言外部的客观世界之间千丝万缕联系的参数,因此,ChatGPT 只是处理自然语言本身的数据,并不能处理丰富多彩、复杂多变的语言外信息。所以,我们认为 ChatGPT 尽管已经取得了很大进步,已经具有强大的处理人类语言数据的能力,但是 ChatGPT 处理外在世界以及社会历史背景的能力还十分有限。因此,从本质上说,ChatGPT 目前所具备的智能还不是完善的人类智能,只是初级阶段的人类智能。语言是人类的高级智能活动,它不仅涉及语言内部的结构,还涉及语言外部的日常生活知识、社会知识、历史知识、文化背景知识、人们的心理状态、人们的情感愿望等极为复杂、丰富多彩的因素。自然语言是非常复杂的,要进一步提高自然语言处理的效果,让计算机真正理解自然语言仍然还是一个极为困难而艰巨的任务。所以,GPT-4 还只是通用人工智能初步闪耀出来的火花。大语言模型是建立在自然语言数据的基础之上的,因此,这种模型处理多模态信息的能力还不强,要把这样的大语言模型进一步发展到能够理解周围世界的“世界模型”(World Model,WM),还需要在多模态处理方面下功夫。2023 年 12 月,谷歌公司研制成功多模态大模型 Gemini,把互联网学习到的知识,丝滑地迁移到下游的多模态任务中,实现了跨模态的融会贯通。Gemini 可以把抽象的语言概念贯通到对于听觉、视觉对象的理解,形成一个人工智能的落地系统。例如,当操作员在纸上画一只蓝色的鸭子时,由于 Gemini 知道鸭子这个品种,知道鸭子一般应当是什么颜色,能够分辨出什么是蓝色,因此,当Gemini 看到画出的蓝鸭子时,能够回答:“However,there are some breeds of blue ducks.There are typi-98中国科技术语/2024 年 第 26 卷 第 2 期cally not as common as other duck breeds”(“但是,这里是蓝鸭子品种。这个品种并不像其他的鸭子品种那样普遍”),这展现出 Gemini 的跨模态知识迁移能力。操作员拿出一个橡胶做的蓝鸭子玩具,Gemini通过声音、视觉,感觉到蓝鸭子玩具的材质是橡胶,并且知道橡胶的密度小于水的密度,基于这样的常识推理,当 Gemini 听到“嘎吱”声时,它能够预判蓝鸭子能够浮在水面上,说“Oh,if its squeaking,its definitely going to float!”(“啊,如果它吱吱叫,它一定要浮在水面上!”)这展现出 Gemini 跨模态的知识处理能力。2024 年 2 月 16 日,OpenAI 公司发布文生视频的大 模 型 Sora,可 以 根 据 文 本 内 容 的 提 示 语(prompt)生成 60 秒视频,理解外在世界,逼真而不变形。Sora 不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。Sora 还可以根据提示语、静止图像甚至填补现有视频中的缺失部分来生成视频。例如,一个提示语的描述是:“在东京街头,一位时髦的女士穿梭在充满温暖霓虹灯光和动感城市标志的街道上。”在 Sora 生成的视频里,女士身着黑色皮衣、红色裙子在霓虹街头行走,不仅主体连贯稳定,还有多镜头,包括从大街景慢慢切入到对女士的脸部表情的特写,以及潮湿的街道地面反射霓虹灯的光影效果。其他的视频演示还包括在雪地里嬉戏的狗、在公路上行驶的车辆、在城市摩天大楼之间的半空中游动的鲨鱼,跪在融化的红色蜡烛旁边的毛茸茸的小怪物,等等。我们认为,Sora 具有如下的能力:(1)文本到视频的生成能力:能够根据用户提供的文本描述生成长达 60 秒的视频,同时保持视频镜头的一致性,保证视觉质量,理解物理世界,超逼真,不变形。这些视频不仅保持了视觉品质,而且完整准确地还原了用户的提示语。(2)复杂场景和角色生成能力:能够生成复杂的场景,显示场景中的多个角色和场景中特定类型的运动,表现场景中主体和背景的准确细节。它能够创造出生动的角色表情,使得生成的视频具有高度的逼真性和叙事效果。(3)语言理解能力:对语言有深入的理解,使其能够准确地解释提示语,并生成引人注目的字符来表达充满活力的情感。(4)多镜头生成能力:可以在生成的单个视频中创建多个镜头,同时保持角色和视觉风格的一致性。这种能力对于制作电影预告片、动画或其他需要多视角展示的内容非常有用。(5)从静态图像生成视频的能力:不仅能够从文本生成视频,还能够从现有的静态图像开始,准确地把图像内容转变为动画,或者扩展现有视频,填补视频中的缺失帧。(6)物理世界模拟能力:展示了人工智能理解真实世界场景并与之互动的能力,这是迈向实现通用人工智能的重要一步。它能够模拟真实物理世界的运动,如物体的移动和相互作用。可以说,Sora 的出现,预示着一个全新的视觉叙事时代的到来,它能够将人们的想象力转化为生动的动态画面,将文字的魔力转化为视觉的盛宴。在这个由数据和算法编织的未来,Sora 正以其独特的方式,重新定义着我们与数字世界的互动。Gemini 和 Sora 的 成 功 说 明,谷 歌 公 司 和OpenAI 公司开始从大语言模型走向世界模型,这是迈向通用人工智能的重要步骤。2 大语言模型中的术语问题在从大语言模型向世界模型的发展过程中,为了描述新概念和新方法,产生了不少新的术语,因此,此类发展也对术语学提出了挑战3。新技术发展如此迅猛,以至于随之而生的大量科技新术语和新产品的名称等都不能被及时、高效地本土化,如何应对这些新术语和新产品的名称,对我国的术语规范化工作提出了新的挑战。下面介绍几个大语言模型中的新术语和使用频次较多的产品名、公司名,让我们在了解其相关技术、概念的基础上,探讨其中文名称。2.1 Transformer 完全基于注意力机制的预训练语言模型2017 年 6 月,谷歌公司在其发表的论文注意09论 坛力就是你们所需要的一切(Attention Is All You Need)中提出了一个完全基于注意力机制的预训练语言模型 Transformer,这个模型抛弃了之前的其他采用注意力机制(attention mechanism)的模型保留的循环神经网络(Recurrent Neural Network,RNN)结构与卷积神经网络(Convolutional Neural Net-work,CNN)结构,其核心完全使用注意力机制4。Transformer 是完全基于注意力机制的模型,在各项任务的完成和性能发挥方面表现优异,因此成为自然语言处理的重要基准模型。Transformer 这个术语,学术界的译名有“转换器”“变形器”“变换器”“变形金刚”等多种,至今没有恰当的中文译名,众说纷纭。因此,在中文语境中,我们目前也只好采用其英文原形 Transformer 来称说它。2.2 token 处理和生成文本或代码的基本单位在大语言模型中,token 是处理和生成文本或代码的基本单位,token 目前还没有中文译文。可以关注到,各家厂商会宣称自家模型支持多少个token 的上下文,而不是说支持多少个单词、词组、汉字或小句。因此,大语言模型是“token 本位”的。那么,影响大语言模型计算这种“token”的因素是什么呢?首先,在大语言模型中,一个 token 并不对应一个英文单词或一个汉字,token 与单词或汉字之间并没有具体的换算关系。例如,根据 OpenAI 发布的标记计算工具,英语的 hamburger 一词包含 9 个字符,被分解为 ham、bur 和 ger 共 3 个 token。同一个词语,如果在两句话中的结构不同,会被分解为不同数目的 token。如何计算 token 主要取决于人工智能公司使用的 tokenization 方法。tokenization 是将输入和输出文本拆分为可由大语言模型处理的 token 的过程。这样的过程可以帮助模型处理不同的语言、词汇表和格式。而 ChatGPT 背后采用的是一种被称为“字节对编码”(Byte-Pair Encoding,BPE)的 tokeniza-tion 方法。我建议把 token 翻译为“词元”,把 tokenization翻译为“词元还原”,不知道这样的译名学术界是否可以接受?Sora 在可视数据的处理上,借鉴了大语言模型的成功经验。大语言模型通过 token 将各种形式的文本代码、数学和自然语言统一起来,而 Sora 则通过 patches 来统一表示各种视频的时空信息,实现了与大语言模型类似的效果。对于不同类型的视频和图像,patches 是一种高度可扩展且有效的表示方式,对于训练视频的生成模型具有重要意义。token 和 patches 都是构成模型的基本单元,有人把patches 翻译为“时空基元”,那么,我们是不是也可以把 token 翻译成“语言基元”呢?2.3 scaling Laws 语言模型规模涉及的法则J.Kaplan 等人在自然语言模型的 scaling law一文中提出了 scaling Laws,指出语言模型的性能依赖于模型的规模,包括:算力(compute)、数据集大小(dataset size)和参数量(parameters),语言模型的效果会随着这三者的增加而提高,而语言模型的损失值(loss)随着算力的规模、数据集的规模、参数量的增大而线性降低5。如图 1 所示。图 1 scaling law19中国科技术语/2024 年 第 26 卷 第 2 期 scaling law 意味着语言模型的能力是可以根据这三个变量来估计的。提高模型的算力、扩大数据集的规模、提高参数的数量,都可以降低语言模型的损失,使得语言模型的性能可预测地提高。scal-ing law 为继续提升大语言模型的规模给出了定量分析依据。scaling law 有“规模法则”“缩放法则”“标度律”等中文译名,但学术界很少使用,仍然喜欢使用英文原名 scaling law。2.4OpenAI、ChatGPT、Gemini、Sora 火爆刷屏的几个专名OpenAI 是一个开放的人工智能公司,但是这个公司也没有相应的中文译名,人们仍然叫它的英文原名 OpenAI。ChatGPT 这个术语,它的英文术语全名是 Gen-erative Pre-trained Transformer,简称 GPT,其原义是“基于 Transfomer 的生成式预训练模型”。GPT 已经成为当前自然语言处理研究的核心技术。GPT利用 Transformer 的编码器(encoder)和解码器(de-coder),从语言大数据中获取了丰富的词汇、语法和语义知识,GPT 在语言生成任务上达到了相当高的水平。GPT 成为深度学习时代自然语言处理研究的最重要的神经网络模型。有学者曾经把 Chat-GPT 翻译成“柴语生”或“才语生”,可是,迄今为止学术界并未接受此类译名,仍然愿意使用 ChatGPT这个英文原名。Gemini 是谷歌公司开发的人工智能系统,至今也没有恰当的中文译名,有人把它翻译为“詹奈”,可是至今未被普遍接受。Sora 一词,据说来源于日语的,是“空”的意思,可是大家都不愿意把它翻译为“空”。也有人把 Sora 音译为“索拉”。但是大多数人仍坚持使用英文原名 Sora。人工智能的发展,对于术语学提出了新的问题,从术语规范化和标准化的角度看,这些术语问题如何解决?希望借此引发大家讨论。参考文献1 冯志伟.冯志伟教授聊 ChatGPTEB/OL.“中国科技术语”微信公众号(2023-02-25)2024-02-25.ht-tps:/ BUBECK S,CHANDRASEKARAN V,ELDAN R,et al.Sparks of Artificial General Intelligence:Early experi-ments with GPT-4J/OL.2024-03-02.https:/arxiv.org/pdf/2303.12712.3 冯志伟.科技术语翻译的原则N.光明日报,2023-05-21,语言文字专栏.4 VASWANI A,SHAZEER N,PARMAR N,et al.Atten-tion is all you need M/Guyon I,Luxburg U V,Bengio S,et al.Advances in Neural Information Processing Sys-tems:volume 30.Curran Associates,Inc.,2017.ht-tps:/proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf.5 KAPLAN J,MCCANDLISH S,HENIGHAN T,et al.Scaling laws for neural language modelsJ.arXiv pre-print arXiv:2001.08361,2020.作者简介:冯志伟(1939),男,博士生导师,中国中文信息学会会士,中国人工智能学会理事,教育部语言文字应用研究所研究员,新疆大学天山学者。主要研究方向为计算语言学、计量语言学、理论语言学、语料库语言学、术语学等。出版中外文专著38 部,发表论文500 多篇,主持编制国际标准1 项和国家规范3项,参与编制国家标准 14 项。曾获中国计算机学会 NLPCC 杰出贡献奖、奥地利维斯特奖、香港圣弗兰西斯科技人文奖。通信方式:zwfengde2010 。29