人工智能核心技术产业白皮书!资本降温-白热化竞争来临.docx
《人工智能核心技术产业白皮书!资本降温-白热化竞争来临.docx》由会员分享,可在线阅读,更多相关《人工智能核心技术产业白皮书!资本降温-白热化竞争来临.docx(47页珍藏版)》请在咨信网上搜索。
1、人工智能核心技术产业白皮书!资本降 温,白热化竞争来临陷入困境与高速发展,AI似乎走进了发展怪圈。编辑I智东西内参在过去一年中,人工智能的新算法不断涌现,深度学习仍是 这一时期发展主线,尝试解决更为复杂的应用任务。人工智 能的产业格局与生态体系更为明晰,开源开发框架格局逐步 确立,以科技巨头引领的生态系统垂直整合速度不断加快;1、深度学习试图从多角度融合创新,开启认知时代仍在探 索深度学习仍然是人工智能技术发展的主导路线。当前,基于 大量标注数据进行训练是深度学习技术实际应用的主要路 线,从1400余万幅图片的ImageNet数据集至2020年脸书 和卡内基梅隆大学构建的超过130万种化合物分
2、子间作用 数据集Open Catalyst,模型训练所需标注数据普遍达十万 以上。然而,这种路线在取得良好成效的同时,面临着严重 依赖标注数据的问题,带来在更多细分场景中应用落地的局 限性。业内不断拓展深度学习解决问题的边界,推动人工智能进 入感知增强时代。人工智能纯粹使用有监督学习方式训练深 度学习模型的时代基本结束,受限于对大量标注数据依赖与 理解能力缺乏,这种路径难以解决更多应用问题。当前,感知增强时代拉开序幕,这一时期的新算法聚焦提 升数据的质量和规模,通过迁移其他领域训练成果、自主 生成或增强数据、依托知识图谱常识关系、利用多源数据等 方式侧面弥补深度学习的局限性。深度强化学习、多模
3、态学 习等多元化的学习方式受到产业热捧,深度学习技术与知识 工程、传统机器学习等分支的结合成为学界探索的热点新方 向。深度学习加速探索与多元学习方式、多种技术分支的结合, 少量数据训练、弱化人为干预以及多模态学习成为下一时期 的发展关键。一是减少数据量依赖的少样本学习。少样本学习通过复用其 他领域知识结构,使用少量数据对新领域进行训练,已进 入初步应用阶段,如英伟达提出基于少样本学习的视频转化 (Few-shot vid2vid)框架,仅借助少量目标示例图像即可 合成未出现过的目标或场景视频。二是弱化人为干预的自监督学习、强化学习。业内主流的有 监督学习方式数据标注成本高昂,以机器翻译任务为例
4、,市 场人工翻译每单词平均价格约7.5美分,假设单个句子平 均长度为30个单词,1000万个句子人工翻译标注的成本 约为2200万美元;若需支持上百种语言的互译,人工标注 训练集的成本将达上千亿美元。这种高昂的数据成本促使学 产两界加速对深度强化学习、自监督学习等范式的探索。 图灵奖获得者杨立昆(Yann LeCun)加速自监督学习的研 究进程,通过从未标记的数据集中学习监督信息,提升数 据无标注下的学习能力;DeepMind、 OpenAI等机构不断 演进深度强化学习算法,试图显著提升智能体的自主决策和 多智协同能力。三是提高应用场景复杂度的多模态学习。应用场景正从单一 视觉、语音的感知向多
5、模态理解侧重,复杂度不断提升,从 多模态信息源中学习模态间关系成为焦点,如菜肴制作视频 与菜谱文本步骤对齐、唇动视觉描述与语音信号融合预测单 词等。深度学习技术正在不断挑战更为复杂的任务,扩展能 够解决问题的边界。直面推理理解问题的算法路径尚无定论,距离认知时代到来 仍需数年。从理论体系角度来看,深度学习的领军专家开始 探索深度学习理论体系的新形态,反向传播、经典神经网络 模型等己有基础理论受到质疑。目前,杰弗里辛顿 (Geoffrey Hinton)提出替代深度神经网络(DNN)架构 的胶囊网络,试图解决小样本问题。然而,胶囊网络虽连续 三年推陈出新,但研究进程并非叠加式的演进,而是完全不
6、同路径的替代。从学习方式角度来看,近一年来,强化学习实现通用智能 的技术路径不再是业内共识,不依赖大量人工标注数据的自 监督学习成为学习方式的新焦点,并在2020年ICML、 ICLR等全球人工智能学术会议上高频出现,已成为众多专 家所关注的关键路径。然而,无论是深度学习体系的颠覆式 创新,还是多种学习方式的不断尝试,具备理解能力的算法 模型目前未有显现迹象,真正的认知时代到来仍未可知。M2M-Y00 15OV.M2M-Y00 15OV.有监僵普遍使用有监督学习方式 训练深度学习模型深度学习理论VGG16知识有监学习;舞受限于依II大标注数髭与就乏 f理MIE力,有监It学习难以解决 更多应用
7、问精OpAIGPT-3 1750亿扩展至多元学习方式,并与其他技术分 支交叉融合感知时代感知增强时代基础理论学习方式技术M合人工智能技术发展阶段2、任务场景愈加复杂,倒逼学习方式多元化发展有监督学习建立在严苛条件之上,己不能完全满足模型学习 需求,面对更为复杂的任务场景,业内加速探索强化学习、 自监督学习等多元学习方式,试图缩小与通用智能的距离。 深度强化学习不断演进,加速提升自主决策能力。深度强化 学习加速拓展任务边界,突破性解决多人棋牌、即时战略游 戏等多智能体非完全信息博弈任务。目前,OpenAI、谷歌、 微软等企业相继攻克即时战略、德州扑克、麻将等复杂游 戏,并加速向无人机群体飞行等更
8、为实际的应用场景拓展。另一方面,深度强化学习不断提升处理复杂任务的能力, 逐步拓展芯片设计、音乐编曲等对知识技能要求更高的专业 领域,如2020年谷歌研究人员利用深度强化学习优化设计 芯片布局,达到PPA (功率、性能、面积)的最佳平衡, 显著缩短设计时间;清华大学提出用于在线伴奏生成的深度 强化学习算法,能够根据输入音乐实时生成伴奏。自监督学习成为最为活跃的学习方式。谷歌、脸书等多家企 业先后发布使用自监督学习的算法模型,通过挖掘无标注数 据的监督信息,显著减少人为干预,在自然语言理解(NLP) 领域取得显著成效,如谷歌BERT、 脸书RoBERTa、 OpenAI GPT-3等。目前,学产
9、两界正在加速自监督学习在 计算机视觉(CV)领域的突破创新,已在精细图像处理方 面初步取得进展,如华盛顿大学利用自监督学习方式实现图 像背景的前后景分离,精度达像素级别,可实现头发丝的精 确分商。然而,尽管在自然语言理解、视觉处理等方面取得初步进展, 现阶段自监督学习本质上仍依赖规范化、标签化的数据,主 要借助预训练模型构造并学习数据特征,而非基于对数据内 容和任务对象的深层次认知;真正理解数据内容的自监督学 习尚未出现。3、深度神经网络理论体系尝试颠覆性创新,多分支融合趋 势渐显深度学习局限性日益凸显,理论体系探索革新。当前,以杰 弗里辛顿(Geoffrey Hinton)为代表的业内巨头持
10、续推动 理论体系的创新,其中,胶囊网络作为革新热点,试图解决 数据依赖与不可解释问题;然而,历史上胶囊网络的三个版 本更新大相径庭,尚未形成稳定的新形态架构,仍处于探 索阶段。此外,以胶囊网络为核心的应用也在不断探索,2020年 Hinton团队提出一种用于机器学习安全领域的网络检测机 制,显著提升攻击检出率;中佛罗里达大学学者提出胶囊路 由方法,可通过输入句子查询视频中符合条件的人物及特定 动作,但上述成果仍停留在研究阶段。深度神经网络与其他技术分支加速融合发展。人工智能头部 企业、高校等开始摸索深度神经网络与知识图谱、传统机器 学习等分支的融合创新。一方面,知识图谱试图在不颠覆深度学习理论
11、的基础之下, 弥补小样本训练与理解推理能力不足的技术天花板。目前, 面向垂直领域的专业知识图谱加速发展,已在金融、医疗、 司法多个行业初步应用,显著提升垂直行业应用中知识自 动关联、自动获取的智能化水平。如金融消费领域,蚂蚊金融知识图谱平台已经广泛应用在蚂 蚊内部以及合作伙伴的微贷、保险智能理赔和智能理财等业 务领域中;药物研发领域,亚马逊开发药物重定位知识图谱(DRKG)预测药物与疾病靶点结合的可能性,缩短药物 研发周期并降低成本,已用于新冠病毒药物研发。另一方面,深度学习与传统机器学习融合已显现新的算法 形态;贝叶斯深度学习成为热点方向之一,有效利用先验知 识解决过拟合、小样本数据等问题,
12、模型性能超越传统深度 学习方法,如DeepMind提出贝叶斯RNN模型,图注释生 成任务表现显著优于传统RNN模型;纽约大学和三星研究 人员提出基于贝叶斯思想的深度学习不确定性表示方法SWAG,大幅提高模型泛化能力,在异常点检测、校准等 计算机视觉任务上表现良好。4、预训练模型加速演进,试图实现语言处理领域的通用智 能预训练模型参数己至万亿级,训练成本之高几乎成为业内头 部玩家的专属技术路径。202。年,OpenAI发布GPT-3模 型,模型参数多达1750亿个,高达1200万美元的训练费 用为预训练模型的构建构筑壁垒,中小型人工智能企业难以 望其项背。2021年,谷歌发布SwitchTran
13、sformer模型, 再次将模型参数推至1.6万亿新高。此外,微软宣布与OpenAI达成合作协议,获得GPT-3语 言模型源码的独家授权,升级巨型模型的寡头格局形势,预 示着未来超大规模预训练模型或将掌握在少数头部企业手 中。预训练模型已进入可直接用于多种自然语言处理任务的“通 用”智能阶段。预训练模型再次升级,头部人工智能企业先 后发布通用预训练模型,可直接面向多种自然语言处理任务 使用,不再需要针对不同任务进行微调。目前,谷歌T5、 OpenAI GPT-3等通用预训练模型进一步提升文本理解能 力,在包含阅读理解、问答等任务的基准测试中接近人类水 平。另一方面,通用预训练模型加速步入产业应
14、用阶段,OpenAI 公司发布GPT-3商用应用程序接口( API),提供问答、 翻译、文本生成等服务,搜索服务提供商Algolia、社交媒 体平台Reddit等多家企业巳开始使用。5、模型小型化成为提升模型运行效率的关键深度学习模型效率提升成为应用落地的关键突破点。目前, 深度学习模型的复杂度会随着模型精度的提升而提升,步入 通过大幅增加计算量而获取高精度的时期。计算量的增长虽 带来性能的提升,但高度复杂模型在硬件能力受限的设备上 部署运行难度越来越大,以AIphaGo为例,每场比赛仅电 费耗费就高达3000美元,模型运行性能与硬件能力的矛 盾成为模型效率的关注重点。模型小型化成为提升模型运
15、行效率的主要方向。目前,知识 蒸偶、剪枝、量化等模型小型化的技术手段逐步成熟,主流 模型可达儿十倍压缩率。如亚马逊利用知识蒸馄进行预训练,从BERT模型中提取 压缩模型Bort,压缩后模型大小仅为BERT-large的6%, 推理速度提升七倍;麻省理工学院与上海交大的研究人员 提出LiteTransformer,结合量化和剪枝技术将Transformer 模型压缩95%,加速在边缘设备上部署自然语言处理模型 的应用进程。与此同时,开发框架中的模型压缩功能创新活跃,模型压 缩己成为开发框架必不可少的关键能力,脸书、腾讯、谷歌 等头部人工智能企业以及英伟达、英特尔等芯片大厂加速构 建完善模型压缩能
16、力,依托自身算法技术与硬件芯片优势, 在其主导的TensorFloWx PyTorch、TensorRT等开发框架 中提供剪枝、量化等算法压缩工具,并针对GPU、CPU等 硬件芯片进行特定压缩优化。6、深度学习应用加速推动智能计算革命深度学习应用加速推动云端计算范式进入高性能计算时代。 深度学习训练效果高度依赖计算资源和数据质量,追求大规 模高速处理能力。当前,全球最大规模的训练模型所需算 力每年增长幅度高达io倍。同时,产业发展重心开始转变,企业比拼重点从单项技术的 “理论”准确率转向应用场景白热化的“跑马圈地人工智能的技术应用开始全面覆盖日常生活、科学研究、 社会治理、商业创新和国家安全等
17、经济社会的关键领域,以 空前的广度和深度推动社会发展。然而,由于人工智能技术 成熟周期相对较长,产业发展速度不及资本市场预期,资 本热度开始减退。人工智能产业似乎显现出“陷入困境”与 “高速发展”的矛盾现象。本期的智能内参,我们推荐中国信通院的报告人工智能核 心技术产业白皮书,探讨以深度学习技术为主要驱动力 的人工智能发展状况、技术创新重点与产业发展趋势,总 结十三五期间我国发展情况,提出十四五期间的发展方向 与机遇。本期内参来源:中国信通院原标题:人工智能核心技术产业白皮书作者:未注明 谷歌曾预测,如所有用户每天使用3分钟语音搜索功能, 基于传统CPU的数据中心算力就必须提升一倍,对算力需
18、求快速增长的预期也促使谷歌加速研发针对人工智能应用 更有优势的张量处理器。随着深度学习模型结构日益复杂以 及训练样本规模持续扩大,算力需求与日俱增,对云侧计算 性能提出更高要求。计算模式走向云边协同,端侧场景化算力成爆发新方向。在 去中心化的计算形态下,自动驾驶、工业智能、智慧城市等 边缘场景产生出大量的算力需求,边缘智能设备需要通过芯 片架构、编程模型、专用加速库以及软件框架等多个环节与 特定应用深度融合,实现边缘计算平台全栈能力升级,以满 足低功耗、实时性、可靠性和安全性等复杂边缘场景需求。预计未来三年,面向工业电子、汽车电子和传统消费电子 应用等场景化智能计算芯片增长迅速,市场容量年复增
19、长率 高达100%以上,成为推动智能芯片产业主要驱动力量。03.人工智能产业发展趋势1、从谋求单点技术的“极致”,向场景化综合生态发展 单项技术的“理论准确率不再是智能企业的比拼重点,产业 进入应用场景”跑马圈地”新阶段。人工智能企业单点技术标 签化的特点逐步弱化,企业加速进入实质应用转化阶段,人 工智能技术服务企业的变化尤为凸显。如旷视、商汤、科大 讯飞等企业已将重心从视觉、语音等技术转移至社会治理、 供应链物流、生活消费等领域的软硬件解决方案,从而催生 出旷视天元、商汤SenseParrots等开发框架和基础技术服务 平台。目前,以物流、零售、公共安全等为代表的先导应用领域“跑 马圈地”持
20、续白热化。旷视升级发布机器人仓储物流软件平 台“河图2.0”,并计划投入2()亿元与合作伙伴搭建完整的 机器人行业解决方案;商汤持续推进城市级开放平台方舟 (SenseFoundry)在城市域落地,已覆盖全国31个省市、 近100座城市,总计接入摄像头十万路;云从推出“云从起 云智慧Mall”运营平台,聚焦新零售领域帮助商业地产拥有 者进行决策,实现精细化运营。场景化综合生态模式开始清晰,与“类”安卓开发者生态共同 驱动产业发展。一方面,“类”安卓开发者生态模式逐步成熟,头部智能企 业延续移动互联网典型发展模式,以微服务形式提供视觉、 语音等技术服务,凭借第三方开发者来构建多样化的智能应 用,
21、大幅提升开发的易用性。另一方面,纯粹基础技术输出难以完全满足智能技术与各 行业深度融合和应用落地,主要有三方面挑战:一是需要与 行业专有知识深度结合;二是场景碎片化特征突出;三是使 用标准数据集训练的图像识别、对话系统在实际行业场景中 泛化能力不足,需基于实际场景数据进行二次训练和优化处 理,这些均导致开发周期较长和开发成本居高不下。因此,头部智能企业认识到智能技术与传统行业的深度融 合应用需要构建新的发展模式。一是加速打造提供模型选 择、训练、部署监测等一体化的研发平台,奠定智能技术 渗透至各行业规模化应用的基础;二是面向工业、农业、金融、公共安全等行业领域构建多样 化行业技术服务及解决方案
22、平台,将行业特有数据、专业 知识、业务流程与智能技术进行深度融合;发展速度较快的 公共安全、医疗、智能驾驶等领域已初步形成垂直行业平台, 提供相对通用的行业应用服务。在此基础之上,智能音箱、 智能录音笔、安防无人机等垂直行业智能产品不断涌现,场 景化综合生态正在形成。2、以科技巨头引领的产业垂直整合速度不断加快在过去的一年中,由于人工智能发展所需算力、算法、数 据等要素的高位起点以及硬件、软件框架、平台等核心环节 间的紧耦合衔接特点,使得谷歌、微软等科技巨头生态系统 的垂直整合引领产业整体发展;产业垂直一体化的趋势不断 加强,计算支撑、软件框架、研发平台等核心环节基本被老 牌科技巨头所把持。算
23、力、软件框架、研发平台、技术服务的纵向一体化几乎成 为全球头部科技企业的共识。人工智能硬件、算法、软件 平台与行业应用场景的结合紧密度空前,驱使不同环节具备 点状竞争力的科技巨头争相探索行业实际应用需求。目前, 产业仍为早期发展阶段,任何一个环节的水平化都尚未完全 确立,过去以通用基础能力自居的芯片企业、云计算企业, 抑或是具有技术独到优势的互联网企业都难以将自身的优 势能力直接渗透至复杂多变的行业应用场景中来。因此,科技巨头加速从自身优势能力出发,延伸至行业应用 的多个中间环节,试图以这种方式准确把握智能时代的需求 方向;在持续保持自身己有优势的同时,布局支撑行业应用 的多个核心环节,巩固其
24、生态系统在人工智能时期的领导地 位。亚马逊、微软等云服务企业不断强化其智能服务能力,紧 抓面向基础技术服务、研发训练与推理等智能计算需求,通 过布局研发平台、开源开发框架等技术生产工具,以及更为 底层的专用硬件及芯片,提升其智能计算服务的竞争力;谷 歌、百度等AI技术优势显著的互联网头部企业基于先进算 法和技术优势布局开源框架,并以此为核心上下延伸,构建 智能服务生态体系。以英伟达为代表的AI芯片巨头加速提升面向智能任务的 芯片性能,积极丰富性能库、编译器、编程框架等软件配套, 通过多样化方式壮大开发者社区及产业合作伙伴规模,力图 构建软硬协同的产业生态体系。云H务 亚马进|微软云H务 亚马进
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 核心技术 产业 白皮书 资本 降温 白热化 竞争 来临
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。