作为GPT的GPT——新一代人工智能的机遇与挑战.pdf
《作为GPT的GPT——新一代人工智能的机遇与挑战.pdf》由会员分享,可在线阅读,更多相关《作为GPT的GPT——新一代人工智能的机遇与挑战.pdf(18页珍藏版)》请在咨信网上搜索。
1、412023年第6期(总第475期)产业经济作为GPT的GPT新一代人工智能的机遇与挑战陈永伟(比较杂志社 研究部,北京100871)摘要:在经济发展过程中,通用目的技术(GPT)的作用是至关重要的。作为一种新出现的技术,生成式AI具有GPT所要求的普遍适用性、进步性和创新孕育性等特征,因而很可能会成为全新的GPT。生成式AI领域最具代表性的模型就是OpenAI的GPT系列等,这里的GPT全称是“生成式预测训练”(Generative PreTraining)模型。无论是出于高质量发展的需要,还是出于加强我国国际竞争力的考量,发展生成式AI都是当务之急。从目前看,我国在发展生成式AI方面还存在
2、着很多障碍,这就要求政府用好产业政策,为其发展扫清障碍。与此同时,作为GPT,生成式AI的发展一定会伴随着“创造性毁灭”过程,由此带来技术性失业、收入分配恶化,以及垄断和不正当竞争等问题。对于这些问题,应当用好相关政策加以应对,尽可能趋利避害,让生成式AI更好地为经济发展服务。关键词:生成式AI;GPT;ChatGPT中图分类号:F49文献标识码:A文章编号:1000176X(2023)06004118最近,由美国人工智能研究公司OpenAI开发的大型语言模型ChatGPT引发了各界热议。相比于过去的AI产品,ChatGPT不仅可以更为顺畅地与用户交流,而且可以十分高效地按照要求完成包括文本写
3、作、资料整理,甚至程序编写等在内的多种任务,因而广受用户青睐。自2022年11月30日正式上线以来,ChatGPT的用户数量就保持了高速增长。仅仅5天时间,其用户量就突破了100万;不到两个月,用户量就超过了1亿。2023年3月14日,OpenAI又发布了多模态的AI应用GPT-4。这一新模型不仅可以和ChatGPT一样识别文本,还可以进行图像识别,而且其问题解答、人机交互能力都有了质的提升。从分类上看,ChatGPT和GPT-4都属于“生成式AI”(Generative AI)的范畴。随着ChatGPT的爆火,这种类型的 AI 逐步被人们关注。过去市场上的 AI 产品主要是所谓的“分析式 A
4、I”(Analytical AI),这类AI的主要功能是对数据进行学习和分析,以此来预测、辅助用户进行判断。与这类AI不同,生成式AI的主要功能是通过学习来生成与训练数据不同的新数据。例如,ChatGPT会生成不同于其学习材料的文本,DallE2、Stable Diffusion等图片生成AI则会生成不同于其学习材料的图形。得益于这种创造能力,生成式AI可以比分析式AI应用于更多不同的场景、收稿日期:20230320作者简介:陈永伟(1982-),男,浙江杭州人,研究员,博士,主要从事产业经济学、互联网经济学和法律经济学研究。Email:chenyongwei1982 陈永伟作为GPT的GPT
5、陈永伟作为GPT的GPT42完成更为多样化的任务,因而生成式 AI 正在成为一种“通用人工智能”(Artificial GeneralIntelligence)1。既然生成式AI的表现已经如此之好,那么一个直接的问题就是,它是否可能成为经济学意义上的“通用目的技术”(General Purpose Technology,GPT)?如果这个答案是肯定的,那么这种技术将会对经济发展产生怎样的影响?又应该用怎样的政策去促进这种技术的发展?本文将对以上所有问题展开讨论。一、GPT及其影响(一)GPT的定义和特征“通用目的技术”是现代经济增长理论中经常被提及的一个概念。与仅用于某些具体用途的专用目的技术
6、(Specific Purpose Technology,SPT)不同,GPT的应用范围通常十分广泛,对经济的影响是整体性的。例如,蒸汽机、电气化等技术就是最常被提及的GPT。在文献当中,这些技术通常被称为“经济增长的引擎”。Bresnahan和Trajtenberg2最早对GPT进行了研究。根据他们的定义,GPT应该具有如下三个基本特征:普遍适用性(Pervasiveness)。GPT可以作为投入品,被广泛地应用到各个部门。例如,作为GPT的新能源在不同的行业都能够使用,而作为GPT的计算机也可以为各个行业赋能。进步性(Improvement)。通过持续的创新和学习,GPT的表现会随着时间的
7、推移而不断改进。这种改进是多维度的:可能表现为与GPT相关产品、系统及组件的成本降低,也可能表现为质量改善。随着GPT表现的优化,使用它们将会变得越来越有利可图,而这也会有助于它们的进一步扩散。创新孕育性(Innovation Spawning)。GPT的创新会促进相关应用技术的创新,进而提高应用部门的研发生产率,而应用部门的技术进步又会反过来促进GPT自身的进步。显然,创新孕育性的存在会让GPT创新和应用部门创新的回报率同时得到提升。后来的经济学家对Bresnahan和Trajtenberg2的上述标准提出了一些修正。例如,Carlaw和Lipsey3认为,GPT的特征应该包括:最初只用于一
8、些特殊用途;随着在经济中的扩散,它会演化成更为复杂的形式,其效率会不断提升;它会被用于帮助众多领域的生产;它会产生更多新产品,演化出新的生产流程。后来,Bekar等4进一步总结出GPT的六个特征:与定义和支撑它的一组技术互补;与由它赋能的技术具有互补性;与一系列在社会、政治和经济上具有变革性的技术具有互补性;没有相近的替代方案;具有广泛的应用;开始时比较粗糙,但会演化得越来越复杂。不过,尽管有了这些论述,Bresnahan和Trajtenberg2的标准依然被认为是判断GPT的最重要标准。按照上述标准衡量,尽管人类历史上技术发明众多,但能称之为GPT的却很少。Lipsey等5曾对历史上的GPT
9、进行过专门研究。在他们看来,从公元前9 000年至今,只有24种技术可以称为GPT。按照出现的顺序,它们分别为:植物驯化、动物驯养、矿石冶炼、轮子、写作、青铜、钢铁、水车、三桅帆船、印刷术、蒸汽机、工厂体系、铁路、铁轮船、内燃机、电力、汽车、飞机、大规模生产、计算机、精益生产、互联网、生物技术、纳米技术。按照不同的标准,可以对GPT进行不同的分类。例如,在Lipsey等5就给出了两种分类方法:一种是按照技术呈现的形态进行分类,可以将GPT分为产品型技术、流程型技术和组织型技术;另一种则是根据技术的最终用途进行分类,可以将GPT分为材料技术、能源技术、交通技术、组织技术、信息和通讯技术。在本文中
10、,GPT除了指通用目的技术外,还可能指生成式预训练模型。由于在多数情况下这两个意思很容易区别,因而在下文中,除极易混淆之处外,不再对该词的含义进行注释。432023年第6期(总第475期)(二)GPT与生产率的关系与SPT不同,GPT的发明并不能立即带来生产率的显著变化。具体来说,GPT作用的发挥在很大程度上依赖于基础设施,以及与其相关的具体应用的数量和普及程度。一般来说,在一项GPT被发明出来后会经历两个阶段:在第一阶段,与GPT相关的各项基础设施没有普及,各项相关应用也没有被开发出来。此时GPT并不会马上对生产率产生提升效果。甚至由于在这个阶段需要对基础设施和应用发明进行大量的投资,产生大
11、量的成本,因而从总体上看整个经济的生产率甚至会是下降的。在第二阶段,随着基础设施的建成、具体应用的开发,GPT对生产率的作用就会逐渐体现出来。在Helpman和Trajtenberg6的研究中,以上两个阶段分别被称为“播种阶段”(Time to Sow)“收获阶段”(Time to Reap)。以美国经济为例,在电气化技术被发明出来之初,其对经济的影响微乎其微,但到了19世纪90年代,以尼亚加拉水电站为代表的一批重要电力设施建立起来后,电气化对美国经济的提升作用就开始体现。1915年之后,电力网络在美国逐步普及,独立辅助发电器开始广泛应用,电气化对生产率的影响才随之变得明显。同样,在IT技术发
12、展的早期,其对生产率的影响也并不显著,由此还诞生了著名的“索洛悖论”。但是,随着计算机普及,互联网、云计算等基础设施的建立,IT技术在提升生产率方面的作用终于得到体现。欧洲央行在一份报告中指出,“从历史视角来看,索洛悖论并不是什么悖论”,其原因正在于此7。需要指出的是,GPT对生产率的影响在很大程度上取决于其扩散的程度。例如,Jovanovic和Rousseau8曾经对电气化和IT技术这两种GPT对生产率的影响进行过比较。结果发现,截至其研究发表时,IT技术对生产率的影响要远小于电气化的影响。Jovanovic和Rousseau8认为,这是由于电气化技术可以更为平稳地与更多资本存量结合,从而迅
13、速融入更多部门当中,相比之下,IT技术在其发展初期只能应用于较少部门,其传播和扩散速度较为缓慢。不过,他们也发现,与电气化相比,IT技术的动态性更强,与其相关的技术发明速度和专利申请量都要胜过电气化,同时其相关产品的成本下降趋势也更为明显。因此,他们预期IT技术对生产率的影响将会在未来逐步显露出来。(三)GPT的社会影响GPT的扩散通常表现为一个“创造性毁灭”(Creative Destruction)的过程。它可能在促进生产力提升的同时,颠覆既有的经济秩序。在这个过程中,可能会造成一系列复杂的经济、社会和组织影响。限于篇幅,本文集中讨论其中的三种影响。1.GPT对竞争的影响从理论上讲,GPT
14、的扩散可能会重新配置企业之间的竞争优势,从而可能让固守旧技术的在位大企业没落,而率先采用新技术的中小企业则可能趁势兴起,但现实却并非如此9。一些实证研究证实了这一点,如Jovanovic和Rousseau8曾考察过19882001年间不同规模的资本回报状况。他们发现,从长期看,小企业的年资本增值率要比大企业高出7.5%。但是,在电气化和IT技术这两种GPT的主要扩散时期,大小企业在资本增值率方面的相对差异并没有明显变化。也就是说,“创造性毁灭”的作用效果并不明显。对于这种现象有很多解释。其中的一个解释来自 Schumpeter10。他认为,当技术引发的“创造性毁灭”到来时,在位企业不愿意就此退
15、出市场,因而会采用各种不正当的竞争手段来阻碍新兴企业超越自己。另一种解释则来自Aghion等11。他们认为,大企业也可能率先成为新技术的推动者。在这种情况下,它们相对小企业的竞争优势将会进一步凸显,而这可能会反过来打有不少理论认为,规模相对较小的企业会更容易从技术革新中受益。其中最具代表性的理论是“创新者的窘境”理论。该理论认为,作为既有技术的受益者,大企业在新技术出现时很难将更多的资源放在发展新技术上。相比之下,小企业则更加有激励采用更新的、具有颠覆性的技术,因而更有可能成为新技术的受益者。陈永伟作为GPT的GPT44击小企业的创新动力,甚至让它们放弃竞争。无论根据上面哪种解释,都意味着在G
16、PT迅速扩散的同时,也可能会发生比较严重的垄断和不正当竞争问题。事实上,历史也在一定程度上印证了这一理论。以美国为例,电气化扩散的同时,也恰好是美国大型托拉斯兴起的时期;在IT技术扩散的同时,一大批平台巨头也迅速崛起,并由此引发了平台垄断问题。2.GPT的就业效应从历史上看,很多GPT的发明和扩散都会对既有的工作方式产生重大冲击,并带来明显的就业影响。一方面,新技术的扩散会让很多采用旧技术的人失去工作,从而产生“技术性失业效应”;另一方面,新技术的扩散又会催生很多新的就业,从而产生“补偿效应”12。例如,蒸汽机和工厂体系的出现抢走了很多手工业者饭碗的同时,却创造出工人这个新职业;汽车的出现抢走
17、了马车夫生意的同时,却创造出司机这个新就业岗位。尽管从长期看,后一种效应通常会胜过前一种效应,从而使新增的就业数量超过消失的就业数量,但从短期看,前一种效应通常会更占优势,因而技术性失业就成为了新技术,尤其是GPT扩散过程中经常出现的一种现象。3.GPT对收入分配的影响GPT的扩散会从多个机制对收入分配产生影响。技术的影响是有偏向性的,如果某种技术是资本偏向性的,就可能减少对劳动力的需求,这会让劳动力的工资下降,从而导致劳动力收入在总收入中所占的份额也随之减少13。例如,经济史学家Allen14曾经对18世纪早期至20世纪初的工资状况进行过研究,结果发现在这个曾出现众多GPT的时间段内,企业的
18、利润率出现了大幅增长,但与此同时,真实工资水平却一直维持不变。在经济史上,这一现象被称为“恩格斯停滞”(Engels Pause)。从技术偏向性的角度看,“恩格斯停滞”产生的主要原因是这个时期主要GPT几乎都是替代劳动力的。例如,蒸汽机、火车、汽车等的出现,都大幅降低了市场对劳动力的需求,这就导致了工资的停滞不前。此外,GPT的扩散可能还有助于“巨星”企业的发展,使其在行业内的份额变得更高。由于这类企业通常都有高资本密集度的特点,因而“巨星”企业的发展就会加剧劳动力份额在总收入中占比减少的趋势15。二、生成式AI:原理和发展(一)生成式AI的技术原理简介生成式 AI 和分析式 AI 的根本区别
19、是:后者采用的是“判别式建模”(DiscriminativeModelling),其目的是通过训练样本数据来提升模型的判断能力,从而能够帮助人们实现对训练外样本性质的判断;而生成式AI采用的则是“生成式建模”(Generative Modelling),它学习的目的是创造出和训练样本中数据类似的新数据(如图1所示)。举例来说,一个分析式AI通过学习大量梵高的作品,就可以在遇到一幅新作品时判断出它是否为梵高所画;而一个生成式AI在进行了类似的学习后,就可以创造出类似梵高风格的新作品。训练数据训练数据判别式模型生成式模型随机噪声生成样本预测值预测抽样训练训练分析式AI:生成式AI:图1分析式AI与
20、生成式AI的原理比较这个名词是由Allen创造的,但以恩格斯命名的原因是恩格斯在英国工人阶级状况等著作中首先指出了在技术迅速进步、社会生产率大幅度提高、企业利润率大幅增长的同时,工资增长停滞的现实。452023年第6期(总第475期)1.重要的生成模型虽然从表面上看生成式AI非常神奇,但从本质上看,生成式AI就是一个概率模型。通过对样本数据的学习,生成式AI可以形成一个关于数据的分布模型,所谓“生成”新数据的过程就是从这个分布模型中进行重新抽样的过程。目前,人们已经提出了很多不同的生成模型,它们之间在分布模型的构建,以及样本的抽取上都存在着很大差别,各方面表现也不尽相同。在这些分布模型中,最有
21、代表性的有五类:自回归模型、生成式对抗网络模型(GAN模型)、变分自编码模型(VAE模型)、流模型和扩散模型。第一,自回归模型16。自回归模型是文本生成模型中经常用到的一种模型,ChatGPT在训练中就采用了这一模型。这种模型的原理非常直观,即根据之前出现的语句来对后续可能出现语句的概率分布进行建模,并挑选概率最高的那个语句作为生成内容。例如,当AI学习了大量文本后发现,如果在一段文字中出现了“生成式”这三个字,后面出现“AI”的可能性是最高的,那么它在遇到“生成式”之后就会生成“AI”。第二,生成式对抗网络模型17。GAN模型的基本思想来自博弈论中的零和博弈。具体来说,它构造两个相互对抗的网
22、络,分别作为生成器和判别器。其中,生成器通过训练样本进行学习,并根据学习结果生成数据,其目的是让判别器相信所生成的数据是真实的;而判别器则根据训练样本的学习结果对训练外的数据进行判别,其目标是正确判断这些数据是否是生成的。通过这种对抗,生成器和判别器的性能就可以同时得到提升,由该模型生成的数据也就越来越接近真实。不过,GAN模型的缺陷也很明显。由于它不直接对训练样本进行建模,因而其可解释性非常差,并且也难以保证生成数据和训练数据来自同一分布。第三,变分自编码模型18。和GAN模型不同,VAE模型会直接对训练样本进行概率建模。包含两个部分:编码器和解码器。其中,编码器负责对训练样本中各潜变量(L
23、atent Variable)的均值和方差信息进行建模,解码器则利用这些信息生成新的数据。VAE模型会不断将生成的数据和训练数据进行对比,以此对潜变量的均值和方差信息进行重复校正。这样,生成内容的信息质量就能得到持续改进。由于VAE模型对训练样本直接进行概率建模,因而具有很强的可解释性,并且可以有效保证生成数据和训练数据来自同一分布。第四,流模型19。流模型会直接计算决定数据表征的潜变量的分布和数据表征分布之间的转移函数,并由此直接反推出潜变量的分布状况,完整地还原出训练数据的概率模型。显然,流模型具有很强的可解释性,并且可以保证生成数据和训练数据来自相同分布。不过,其对计算的要求很高,因而需
24、要较强的算力支持。第五,扩散模型20。扩散模型由前向扩散过程和反向生成过程构成。在前向扩散过程中,模型会根据事先学习的一些参数,通过一个马尔可夫过程对原数据逐步加入噪声,直到将数据变为近似纯噪声的水平为止。在反向生成过程中,模型则对之前处理的数据进行逐步减噪,由此生成新的数据。通过不断将新生成数据与原数据进行对比,就可以不断校正参数,让模型的质量更高。2.重要训练架构除了训练方法之外,训练架构也是生成式AI的重要支柱。在对神经网络进行训练时,人们开发了很多训练架构模型,如卷积神经网络(Convolutional Neural Networks,CNN)模型、循环神经网络(Recurrent N
25、eural Network,RNN)模型等。这些模型在生成式AI的训练中依然被广泛使用。但是,与这些经典模型相比,对生成式AI发展推动更大的模型则是Transformer模型。Transformer模型最早的应用场景是自然语言处理(Natural Language Processing,NLP)。在处理这类问题时,模型需要对之前处理过的信息有所记忆,但CNN、RNN等经典模型要么难以处理记忆问题,要么不能处理并行计算,运作效率很低。Transformer通过创造性地引入了一种被称为“自注意”(SelfAttention)机制成功地解决了这些问题21。这种机制可以根据某个词语所处陈永伟作为GPT
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 作为 GPT 新一代 人工智能 机遇 挑战
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。