“围猎”英伟达H100.pdf
《“围猎”英伟达H100.pdf》由会员分享,可在线阅读,更多相关《“围猎”英伟达H100.pdf(5页珍藏版)》请在咨信网上搜索。
1、2023年1 0 月计算机应用文摘第39 卷第2 0 期“围猎”英伟达H100近期,以 ChatGPT为代表的生成式 AI技术风靡全球,这一技术的升级极大地提高了生产力,同时正在对各行业带来深刻的变革,甚至需要重新审视产业的逻辑。英伟达(NVIDIA)这家公司也随着AI浪潮而蓬勃发展,已经成功身万亿美元市值的顶级企业俱乐部。英伟达最近一个财季的业绩数据同样令人瞩目。根据财报数据显示,英伟达在2 0 2 4财年第二财季实现了创纪录的高收人,达到了1 35.0 7 亿美元,超出了分析师此前给出的1 1 0.4亿美元的预期,显示出市场的需求远远超过了预期。总体来看,英伟达的业务规模几乎达到了去年同期
2、的两倍,而这主要归功于市场对其AI芯片的极高需求。无论是初创企业还是顶尖科技巨头,都在积极争相购买这些AI芯片以支持生成式AI服务的开发。根据市场研究公司Omdia 的最新报告,预计英伟达2 0 2 4年第二季度用于AI和高性能计算应用的H100GPU的出货量将超过9 0 0 吨。预计未来几个季度,其CPU销量将维持在相同水平,因此英伟达今年的H100GPU出货量将达到约36 0 0 吨。此外,英伟达还有其他系列的GPU产品,如H800,A100,A800等。因此,可以预测,随着英伟达从生成式AI热潮中获得更多利润,未来一年内这些产品的出货量将进一步增加。根据业内消息,英伟达H100GPU已经
3、在2 0 2 3年早期售罄,目前需要订购并交付款项,但至少要等到2 0 2 4年中期才能交付。目前,谁将获得多少 A100 和 H100 GPU,以及何时获得它们,已成为硅谷的热门话题。英伟达的主要客户似乎也对这一问题产生了浓厚兴趣。微软、亚马逊、谷歌、Meta等国际科技巨头在最近公布的截至2023年6 月的财季财报中都示意,尽管在其他领域的资本支出减缓,他们有意继续投入资金,强化生成式AI技术能力。AI 领域的先驱 Sam Altman 甚至亲自披露,由于GPU供应短缺,OpenAI不得不推迟多项短期计划。消息人士透露,中国的科技巨头,包括百度、腾讯、阿里巴巴以及字节跳动,今年向英伟达下达的
4、订购订单总价值已经超过1 0 亿美元,共采购了大约1 0万个A800和H800芯片;明年交付的AI芯片的价值更将高达40 亿美元。不仅是科技公司在排队购买H100 GPU,中东国家,如沙特阿拉伯和阿联酋,也展现出强大的采购动力,一次性购买了数千个H100 GPU。值得一提的是,阿联酋阿布扎比技术创新研究所开发的“猎鹰40 B”模型成为近期开源社区中备受追捧的商用大型模型,突显了阿联酋在强化基础算力方面的决心。在一篇名为Nvidia H100 GPU:供需的文章中,作者深人分析了当前科技公司对GPU的使用情况和需求。文章猜测,小型和大型云服务提供商的H100GPU集群容量即将耗尽,H100的需求
5、趋势至少将持续到2 0 2 4年年底。正如英伟达CEO黄仁勋所言:“我们目前的出货量远远不能满足需求。”英伟达的GPU不仅畅销无忧,而且利润率高得令人震惊。业内专家曾指出,英伟达H100的利润率接近1 0 0 0%。这一消息迅速引发了芯片行业的广泛讨论。美国金融机构Raymond James最近发布的一份报告显示,H100的生产成本仅为332 0 美元,但英伟达定价高达2.5 3万美元,这意味着高达1 0 0 0%的利润率使H100几乎成为史上最赚钱的芯片之一。这一点在财季报告中也得到了充分证实,英伟达第二财季的净利润高达6 1.8 亿美元,同比增长8 43%。据报道,英伟达最近一个财季的调整
6、后营业利润率达到了58%,这是至少十年来的最高水平,远超过之前八个财季的平均营业利润率39%。英伟达业绩的爆发式增长和长期前景表明,AI需求并非县花一现。庞大的市场潜力以及令人难以置信的前景吸引了众多制造商的积极参与,进一步激发了行业竞争。1“围剿”英伟达目前,AI 芯片市场的竞争正在不断升级。科技巨头如AMD,Intel,IBM以及新兴企业纷纷推出新的AI芯片,试图与英伟达的AI芯片竞争;同时,谷歌、微软、亚马逊、阿里巴巴、百度等公司也积极推动自主研发芯片,以减少对外部供应商的依赖。本文来源于公众号:与非网eefocus,ID:e e-f o c u s,作者芯小潮,本文已经授权转载。202
7、3 年第 2 0 期2AMD:GPU市场的“二号玩家”当前的AI芯片市场可以说是英伟达的天下,每一位挑战者都希望能够动摇其基础,然而这并非易事。作为英伟达的老对手,AMD自然不会袖手旁观,他们也期待着能够推出“终极武器”,来颠覆英伟达在“算力霸主”地位。今年6 月,备受业界瞩目的AMD发布了InstinctMI300系列产品。InstinctMI300系列产品包括MI300A和MI300X两个版本,以及一个集成了8 个MI300X的 Instinct 平台。关于MI300A,A MD 的CEO苏姿丰宣称这是全球首个为AI和HPC设计的APU加速卡,采用了“CPU+GPU+内存”的一体化组合形式
8、,包括1 3个芯片,总共涵盖1 46 0 亿个晶体管,2 4个Zen4CPU核心,1 个CDNA3图形引擎,以及1 2 8 GB HBM3内存。AMDZINSTINCTInstinct MI300X是一款专门针对生成式AI的加速器,直接与英伟达的H100竞争。该产品采用了8个GPUChiplet和4个I/O内存Chiplet的设计,总共整合了1 2 个5 纳米的Chiplet封装在一起,拥有约1530亿个晶体管,超过英伟达H100的8 0 0 亿晶体管。这是AMD迄今为止制造的最大芯片,旨在加速运行大型模型,如ChatGPT等。与英伟达的H100相比,AMDInstinct MI300X的HB
9、M内存密度是H100的2.4倍,带宽为H100的1.6倍,从理论上来说,它能够运行比H100更大的模型。此外,AMD还发布了“AMD Instinct Platform”,其中包含8 个MI300X芯片,提供总计1.5 TB的HBM3内存。苏姿丰表示,随着模型参数规模的不断增加,更多的CPU资源将被需要来运行这些大型模型。但随着AMD芯片内存容量的提升,开发人员将不再需要大规模的GPU,从而降低了成本。她还透露,InstinctMI300X将在今年第三季度向一些客户提供样品,并计划在今年第四季度开始量产。然而,关于性能方面,Instinct MI300X是否能够与H100 相抗衡仍未可知。业内
10、专家指出,尽管 AMD 的Instinct MI300X 采用了更大的1 9 2 GB HBM3内存,但英伟达也在不断迭代其产品。因此,当InstinctMI300X正式发布时,英伟达可能已经推出了更强大计算机应用文摘的产品。另外,由于AMD尚未公布Instinct MI300X的价格,它的成本与H100相比可能并没有明显的价格优势。此外,Instinct MI300X缺乏H100 所拥有的专用引擎,无法加速Transformer大型模型的训练。这也意味着使用相同数量的InstinctMI300X可能需要更长的训练时间。当前,用于AI 训练的GPU供不应求,价格飙升,InstinctMI300
11、X的推出将有助于市场竞争,但在短期内,它可能更多地被视为客户无法购买H100时的“备选方案”。至顶智库首席分析指出,从AMD此次公开的性能参数来看,尽管Instinct MI300X在许多方面都表现出优势,但性能的提高并不一定意味着会有更多的用户采用,二者之间的关系并非线性。英伟达在 GPU领域已经深耕多年,拥有的市场认可度和产品稳定性是AMD所不具备的。此外,英伟达在软件生态系统的建设和开发方面拥有强大的优势,其CUDA平台经过十多年的积累,构筑了其他竞争对手难以逾越的AMD2AMD2,MI300AMI300XSamplingnowSarmpligO3147壁垒。尽管AMD目前已经拥有一套完
12、整的库和工具ROCm,并且可以完全兼容 CUDA,为AMD 提供了说服客户进行迁移的条件和理由,但兼容性只是短期优势。要形成真正的竞争优势,AMD需要进一步完善自已的软件生态系统。未来,ROCm需要支持更多的操作系统,并在AI领域拓展更广泛的框架,以吸引更多的开发者。相较于硬件参数,软件方面的门槛和壁垒更高,因此AMD需要更长的时间来不断完善软件生态系统。Cambrian A I R e s e a r c h L L C 首席分析师 KarlFreund在相关文章中提到,Instinct MI300X在与英伟达H100的竞争中面临一些挑战。首先,英伟达的H100已经实现了满负荷生产,而Ins
13、tinctMI300X目前仍处于早期阶段;其次,在AI产业中,英伟达拥有最大规模的软件生态系统和数量众多的研究人员,而AMD的软件生态尚不如对手成熟;此外,AMD尚未公开任何基准测试数据,而在训练和运行 AI大模型时,GPU 性能只是一个关注点,系统设计同样至关重要。尽管InstinctMI300X在内存容量上具备优势,但Karl Freund 认为英伟达也将推出具有相似内存规格的产品,因此这并不会形成明显的竞争优势。综合考虑,要想动摇英伟达这一行业巨头的地位并非易事。然而,不可否认的是,虽然英伟达的“AI王座”在短期内难以撼动,Instinct MI300X仍然是英伟达H100以外的强有力竞
14、争者,为市场提供了另一种选择。从长远来看,对于英伟达而言,AMD也是一位值得警惕的竞争对手。1481.2Intel:争夺AI算力市场宝座众所周知,目前GPU资源紧缺,而“百模大战”之下算力的需求还在升。中国市场当前急需AI芯片“解渴”,对于英特尔而言,眼下正值算力紧缺的窗口期,也是进攻的绝佳时机。今年7 月,英特尔面向中国市场推出了AI芯片Habana Gaudi 2,直接对标英伟达GPU的1 0 0 系列,欲争夺AI算力市场的宝座。在发布会现场,英特尔直接将Habana Gaudi 2和英伟达的A100进行比较,其野心可见一斑。根据英特尔公布的数据,HabanaGaudi 2芯片是专为训练大
15、语言模型而构建,采用7纳米制程,有2 4个张量处理器核心。从计算机视觉模型训练到1 7 6 0 亿参数的BLOOMZ推理,HabanaGaudi2的每瓦性能约为A100 的2 倍,模型训练和部署的功耗降低约一半。英特尔执行副总裁、数据中心与人工智能事业部总经理Sandra Rivera表示,在性能上,根据机器学习与人工智能开放产业联盟MLCommons在6 月底公布的AI性能基准测试MLPerf Training3.0结果显示,Habana Gaudi_2是除了英伟达产品外,唯一能把MLPerf GPT3.0模型跑起来的芯片。据介绍,相比英伟达的A100,Habana Gaudi2拥有更具竞争
16、力的价格,且性能更卓越。此外,使用FP8软件的HabanaGaudi2预计将提供更高的性价比,超越H100。值得注意的是,英特尔去年已经在海外发布了HabanaGaudi 2,而这次在中国推出的是“中国特供版”。英特尔强调,目前在中国市场上,已与浪潮信息、新华三、超聚变等国内主要的服务器制造商展开合作。Sandra Rivera表示:“中国市场对人工智能解决方案的需求非常强劲,我们正在与所有传统客户洽谈合作。云服务提供商和通信服务提供商等企业客户对人工智能解决方案有着强烈需求。”另外,在产品路线上,英特尔近年来一直强调XPU,即多样化和多组合的异构计算。在与AI相关的产品线上,英特尔提供集成A
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 围猎 英伟 H100
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。