2024年中国端侧AI场景应用分析：智能终端与边缘计算的融合创新.pdf

2024年中国端侧AI场景应用分析：智能终端与边缘计算的融合创新China AI Terminal Application Industry中国AI端末応用業界报告提供的任何内容（包括但不限于数据、文字、图表、图像等）均系头豹研究院独有的高度机密性文件（在报告中另行标明出处者除外）。未经头豹研究院事先书面许可，任何人不得以任何方式擅自复制、再造、传播、出版、引用、改编、汇编本报告内容，若有违反上述约定的行为发生，头豹研究院保留采取法律措施、追究相关人员责任的权利。头豹研究院开展的所有商业活动均使用“头豹研究院”或“头豹”的商号、商标，头豹研究院无任何前述名称之外的其他分支机构，也未授权或聘用其他任何第三方代表头豹研究院开展商业活动。报告标签：端侧AI、终端AI主笔人：饶立杰研究报告 2024/05团队介绍袁栩聪首席分析师oliver.yuanL饶立杰行业分析师arjen.raoL头豹是国内领先的行企研究原创内容平台和创新的数字化研究服务提供商。头豹在中国已布局3大研究院，拥有近百名资深分析师，头豹科创网()拥有20万+注册用户，6,000+行业赛道覆盖及相关研究报告产出。头豹打造了一系列产品及解决方案，包括数据库服务、行企研报服务、微估值及微尽调自动化产品、财务顾问服务、PR及IR服务，研究课程，以及分析师培训等。诚挚欢迎各界精英与头豹交流合作，请即通过邮件或来电咨询。报告作者中国端侧AI研究报告|2024/400-072-55883摘要端侧AI，是人工智能应用的一种实现方式，侧重于将AI的能力下沉到设备端，减少对云服务的依赖，从而实现更快的响应速度、更好的隐私保护和更低的网络需求。2023年中国端侧AI市场规模为1,939亿元，预计2028年其市场规模将为19,071亿元，年均复合增长率为58%。技术进步和边缘计算的出现是端侧AI行业发展的驱动因素，未来端侧AI将与云侧AI结合为混合式AI一同使用，采用混合式AI，可在全球范围内实现成本效益、能效、性能提升、隐私保护、安全性增强和个性化服务。中国端侧AI行业现状如何？目前，中国主流科技企业纷纷在端侧AI领域加大投入并取得显著成果，特别是在移动端和操作系统层面上的AI集成与创新。同时海外科技企业推动端侧AI技术的集成和应用更广泛。同时，端侧大模型是端侧AI中游厂商实现落地应用的关键因素之一，众多端侧AI中游厂商选择自研端侧大模型。中国端侧AI市场规模如何？2023年中国端侧AI市场规模为1,939亿元，从2018至2023年，其年均复合增长率为116.3%。在2023年之前，端侧AI技术已在多个领域落地应用，其中智能安防和智能车载设备是两个重要的应用领域。AI手机和AI PC开始兴起，两者庞大的市场需求将在未来支撑端侧AI行业迅速发展。预计2028年，中国端侧AI市场规模将为19,071亿元，年均复合增长率为58%。中国端侧AI发展如何？混合式AI是指，终端设备和云端服务器相互协作，根据具体场景和时间，合理分配AI计算任务，以提供更优的用户体验，并高效利用计算资源。在特定应用场景中，计算任务主要在终端设备上执行，仅在需要时才将部分任务迁移到云端处理。而在以云端为核心的场景中，终端设备会根据自己的计算能力，在条件允许的情况下分担部分AI计算任务。中国云原生行业研究|2021/74目录 中国端侧AI行业综述-06端侧AI定义及分类-07行业发展历程-08市场规模测算-09 中国端侧AI行业产业链分析-10产业图谱及说明-11上游产业链分析-12中游产业链分析-13下游产业链分析-14 中国端侧AI行业分析-16相关政策-17驱动因素-18限制因素-20发展趋势-21竞争格局-22 中国端侧AI代表性企业-24华为-25商汤科技-26中科创达-27 方法论及法律声明-28中国云原生行业研究|2021/75Contents Overview of Chinas AI Terminal Application Industry-06Definition and Classification of Intelligent Perception-07Industry Development History-08Market Size Calculation-09 Analysis of Chinas AI Terminal Application Industry Chain-10Industry Map and Explanation-11Analysis of Upstream Industry Chain-12Analysis of Midstream Industry Chain-13Analysis of Downstream Industry Chain-15 Analysis of Chinas AI Terminal Application Industry-17Related Policies-18Driving Factors-19Limiting Factors-20Development Trends-21Competitive Landscape-22 Representative Enterprises of Perceived Intelligence in China-24HUAWEI-25Sense Time-26ThunderSoft-27 Methodology and Legal Statement-400-072-55882024 LeadLeoChapter 1中国端侧AI行业综述端侧AI定义及分类行业发展历程市场规模测算中国端侧AI研究报告|2024/400-072-55882024 LeadLeo7端侧AI侧重于将AI的能力下沉到设备端，并涵盖AI驱动系统融合、AI重塑操作系统、端侧AI应用、AI端云协同四层应用，按照模型训练方向的分类方式，端侧AI可以分为5大类端侧AI行业定义与分类中国端侧AI行业综述端侧AI定义及分类来源：专家访谈，头豹研究院 端侧AI，是人工智能应用的一种实现方式，侧重于将AI的能力下沉到设备端，减少对云服务的依赖，从而实现更快的响应速度、更好的隐私保护和更低的网络需求。与云端大模型相比，端侧AI更强调本地化运行，以满足用户对隐私的需求和个性化的任务需求。值得关注的是，端侧AI行业的应用范围广泛，包括但不限于个人电脑（PC）、智能手机等设备。目前，端侧AI涵盖四层应用：AI驱动系统融合，实现多设备间无缝衔接与数据共享；AI重塑操作系统，通过意图识别优化人机互动，提升用户体验；端侧AI应用，涵盖图像处理、文档摘要等实用功能；AI端云协同，结合云端大模型，拓展AI应用场景边界。按照模型训练方向的分类方式，端侧AI行业可以分为5大类，包括自然语言处理端侧AI、计算机视觉端侧AI、智能语音端侧AI、全模态处理端侧AI以及科学计算端侧AI。自然语言处理端侧AI在自然语言处理（NLP）领域的应用意味着用户的语音或文本命令可以直接在用户的设备上被处理和理解，而不是上传到云端处理。目前，许多科技公司都在研发专门针对端侧的NLP解决方案，例如轻量级的NLP模型、边缘计算平台以及优化的运行时环境。01计算机视觉端侧AI在本地设备上处理和分析图像及视频数据，以实现识别、分类、追踪、场景理解等多种视觉任务。与自然语言处理的端侧AI相似，计算机视觉端侧AI也旨在提升隐私性、降低延迟、支持离线操作并优化资源使用。02智能语音端侧AI在本地设备上处理语音识别、语音合成、自然语言理解和语音交互等任务的技术。该技术的发展使得智能设备能在不依赖网络连接的情况下，实现快速、高效且保护隐私的语音控制和交互。03全模态处理端侧AI在边缘设备上同时处理和融合多种类型的数据模态（如文本、语音、图像、视频等）的人工智能技术。该综合处理方式旨在通过跨模态信息的整合，提高决策的准确性和上下文理解能力，为用户提供更为丰富和自然的交互体验。04科学计算端侧AI在科研、工程设计、数据分析等专业领域，利用部署在本地设备上的人工智能算法来加速计算过程、优化模型预测或执行复杂数据分析的任务。与通用的端侧AI相比，科学计算端侧AI更加侧重于处理大规模数据集、执行复杂的数学运算、模拟物理过程或解决特定领域的科学问题。05中国端侧AI研究报告|2024/400-072-55882024 LeadLeo8中国端侧AI行业经历三个阶段，分别为起步探索阶段、技术研发与初步落地阶段和应用快速拓展阶段中国端侧AI发展历程中国端侧AI行业综述行业发展历程来源：企业官网，头豹研究院 中国端侧AI行业经历三个阶段：起步探索阶段、技术研发与初步落地阶段和应用快速拓展阶段。起步探索阶段：2016-2017年，中国逐渐进入端侧AI领域，且互联网巨头企业率先发力。这标志着中国正式开启端侧AI领域的探索之旅。技术研发与初步落地阶段：2018-2022年，中国端侧AI行业在本土创新企业的推动下迅速启动，核心芯片研发、计算平台建设、广泛应用实践及性能持续升级。应用快速拓展阶段：2023年至今，中国主流科技企业纷纷在端侧AI领域加大投入并取得显著成果，特别是在移动端和操作系统层面上的AI集成与创新。同时海外科技企业推动端侧AI技术的集成和应用更广泛。2016-2017年2018-2022年2023年至今2016年，阿里云开始研发端侧AI能力。2017年，阿里云计划并探索端侧AI的研发方向。2023年8月，华为在HarmonyOS 4系统中集成盘古大模型，为用户提供更智能的设备互动。2023年8月，小米开源自研的MiLM端侧大模型，该模型包含13亿参数。2023年10月，英特尔宣布将发布AI PC的英特尔酷睿Ultra处理器Meteor Lake。2023年11月，OPPO采用端云协同设计构建Andes GPT模型。2023年11月，VIVO推出自研AI蓝心大模型，该模型可支持超过700项手机功能，并包含70亿模型参数量。2024年1月，荣耀的MagicOS 8.0将应用首个端侧平台级AI大模型一魔法大模型。2024年5月，苹果和OpenAI将在6月10日的WWDC上联合宣布将OpenAI的AI 技术引入iOS 18。2024年5月，微软推出全新Windows PC品类Windows 11 AI PC。2018年5月，寒武纪发布1M终端智能处理器IP产品。2018年10月，华为推出Atlas智能计算平台，旨在构建一个全面覆盖端、边、云环境的AI基础设施解决方案。截至2019年初，阿里集团多数移动应用程序已融入端侧AI技术，其中超20款App采用MNN推理引擎。2022年，天玑9200发布，其AI性能提升35%。中国端侧AI研究报告|2024/400-072-55882024 LeadLeo92023年中国端侧AI市场规模为1,939亿元，预计2028年其市场规模将为19,071亿元，年均复合增长率为58%，端侧AI已大规模用于智能安防和智能车载设备，未来AI手机和AI PC将成为主要增长因素中国端侧AI行业市场规模，2018-2028E中国端侧AI行业综述市场规模测算来源：专家访谈，头豹研究院 2023年中国端侧AI市场规模为1,939亿元，从2018至2023年，其年均复合增长率为116.3%。在2023年之前，端侧AI技术已在多个领域落地应用，其中智能安防和智能车载设备是两个重要的应用领域。端侧AI在智能安防领域的应用包括视频监控分析、面部识别、异常行为检测等，以上技术能够实时分析监控数据，提高安防系统的响应速度和准确性，从而增强公共安全。在智能交通和自动驾驶领域，端侧AI技术被用于车辆的环境感知、决策制定和实时控制，包括车道保持辅助、碰撞预警、自动泊车等智能功能，旨在提升驾驶安全和车辆的自动化水平。值得关注的是，自2023年起，AI手机和AI PC开始兴起，两者庞大的市场需求将在未来支撑端侧AI行业迅速发展。其中AI手机通过集成NPU或AI加速器，能实现更快的图像处理、语音识别和自然语言处理等功能，进而提供更加丰富的智能服务，如智能助手、实时翻译、健康监测等，极大地提升用户体验。而AI PC利用AI技术为用户提供强大的计算能力和智能功能，特别是在创意工作、游戏、教育和企业级应用中。例如，AI PC能通过学习用户的行为模式，优化性能，提供个性化的软件和服务。同时，端侧AI的应用将不断拓展到新的领域，如智能家居、健康医疗、工业自动化等。预计2028年，中国端侧AI市场规模将为19,071亿元，年均复合增长率为58%。41 274 526 729 960 1,939 5,001 8,661 12,664 15,395 19,071 2018201920202021202220232024E2025E2026E2027E2028E单位：亿元CAGR 116.3%CAGR 58%400-072-55882024 LeadLeoChapter 2中国端侧AI行业产业链分析产业图谱及说明上游产业链分析中游产业链分析下游产业链分析中国端侧AI研究报告|2024/400-072-55882024 LeadLeo11中国端侧AI行业的上游产业链为核心技术和硬件提供商，中游产业链为端侧AI系统集成与软件平台开发商，下游产业链为应用领域与服务中国端侧AI行业产业链分析产业图谱来源：头豹研究院端侧AI产业图谱端侧AI系统集成与平台服务商系统集成软件平台开发应用领域与服务行业解决方案产品与软件服务中游下游利用端侧AI技术，为特定行业或应用场景提供定制化的解决方案，以满足不同客户的需求适应端侧设备的计算能力和存储限制，提供轻量化的AI模型具备端侧AI技术的专业能力，包括模型优化、硬件适配和系统集成等，提供从底层硬件到上层应用的一体化解决方案，实现端侧AI的系统集成需利用AI技术来提升产品的智能化水平，增强用户体验，提高运营效率，开发新的业务模式核心技术和硬件提供商传感器与其他硬件制造商传感器处理器AI基础设施提供商上游AI 芯片处理器算法框架数据算力中国端侧AI研究报告|2024/400-072-55882024 LeadLeo122022年中国通用算力和智能算力分别达137EFLOPS和41EFLOPS，分别占全球比重27%和39%，MindSpore在中国自主研发的AI框架中活跃度最高，且未来NPU将在端侧AI领域广泛应用中国端侧AI上游产业链分析中国端侧AI行业产业链分析上游产业链分析来源：中国通信院，中国知网，头豹研究院 伴随着人工智能、大数据、云计算等前沿技术的迅速发展，算力作为技术基石，其需求呈爆发式增长。2022年中国通用算力和智能算力分别达137EFLOPS和41EFLOPS，分别同比增长25.7%和41.4%。美国、中国、欧洲、日本在全球算力规模中的份额分别为34%、33%、17%和 4%。其中，在基础算力方面，中国以27%份额的排名第二；在智能算力方面，中国以39%的份额排名第一。在选择AI框架时，开发者最重视的因素是框架的易用性，其中有40%的开发者将其列为首要考量，其次性能为第二位选择依据。值得关注的是，目前在中国自主研发的AI框架中，华为的昇思（MindSpore）展现出最高的活跃度。中国AI服务器市场规模，2023-2027E NPU是为加速AI推理任务而特别设计的处理器，通过优化的架构实现低功耗运行。由于AI工作负载主要涉及神经网络层的计算，包括标量运算、向量运算和张量运算，以及非线性激活函数的处理，因此未来NPU将在端侧AI领域广泛应用。NPU针对网络运算优化，可通过编程实现特定网络功能，提供比CPU和GPU更高效、低能耗的神经网络处理能力，且相比FPGA成本更优。随着AIGC、云计算技术的发展，超级计算市场有望迎来新的增长。高端服务器市场和GPU服务器市场将持续扩张，推动AI服务器市场的进一步发展。2023年，中国AI服务器市场规模达91亿美元，预计2027年，中国AI服务器市场规模将达134亿美元，年均复合增长率为10.2%。目前，中国长城和百度携手合作，并成功完成一项重要的技术突破。该合作内容针对擎天EF860双路服务器和昆仑AI加速卡的适配测试，并标志着继AI-TF2000飞桨一体机之后，双方在中国AI服务器领域的再次显著进展。91100 111 122 13420232024E2025E2026E2027E单位：亿美元中国开发者主流AI框架使用率，2022年单位：%34%30%11%11%3%2%2%1%6%PyTorchTensorFlowPaddlePaddleMindsporeOneFlowMXNetMeEngineJittor其他中国算力规模情况，2021-2022年单位：EFLOPS109292137412通用算力智能算力超算算力20212022全球算力规模分布，2022年34%33%17%4%12%美国中国欧洲日本其他单位：%指标CPUGPUNPUFPGA定制化程度通用型通用型定制化半定制化功耗中高低低成本高高低中算力低中高高各类AI芯片对比+10.2%中国端侧AI研究报告|2024/400-072-55882024 LeadLeo132023年中国端侧大模型市场规模达8亿元，预计2028年其市场规模将达79亿元，年均复合增长率为58%，端侧AI企业商业模式可分为5种，且主要参与者可分为4类中国端侧AI中游产业链分析中国端侧AI行业产业链分析中游产业链分析来源：专家访谈，头豹研究院 端侧AI企业的商业模式选择取决于其技术优势、市场定位、目标客户群体以及行业特点，模式包括销售硬件设备集成、提供行业定制化解决方案、参与政府项目、收取许可费以及订阅和增值费用。端侧AI企业可分为互联网型企业、To B、To C人工智能企业、端侧AI终端场景企业以及央企。其中互联网型企业的优势在于拥有强大的在线服务和用户基础，而端侧AI终端场景企业需与硬件设备紧密结合，提供端到端的解决方案。端侧大模型是端侧AI中游厂商实现落地应用的关键因素之一，众多端侧AI中游厂商选择自研端侧大模型。随着端侧AI应用需求的蓬勃涌现，2023年中国端侧大模型市场规模达8亿元，预计2028年其市场规模将达79亿元，年均复合增长率为58%。单位：亿元中国端侧AI行业主要参与者分类分类企业特征互联网型企业阿里云拥有全面的行业解决方案，出色的软件服务以及全局数据平台To B、To C人工智能企业商汤科技华为云端侧AI终端场景企业荣耀具备较强的硬件集成能力，以及提供实时或近实时的处理能力vivo央企国家电网具备庞大的规模和强大的抗风险能力，以及整合上下游产业链资源的能力国家能源集团端侧AI企业商业模式0102030405B2B和B2C：硬件设备集成销售咨询服务：行业定制化解决方案招投标项目：与政府合作技术授权：收取许可费订阅服务：订阅软件及增值服务中国端侧大模型市场规模8213147617920232024E2025E2026E2027E2028ECAGR 58%中国端侧AI研究报告|2024/400-072-55882024 LeadLeo来源：深圳新闻网，中国知网，数字信息安防产业技术创新联盟，头豹研究院14端侧AI的应用领域广泛渗透到城市管理、交通、医疗、教育、制造业、零售、农业、金融、数字社区以及文旅服务等多个行业，其中智慧安防和智慧车载领域的规模已达1,226亿元和119亿元中国端侧AI行业下游应用领域分析中国端侧AI行业产业链分析下游产业链分析 2023年中国智慧安防市场规模达1,226亿元，预计2028年其市场规模将达5,598亿元，年均复合增长率为35.5%。端侧AI是智慧安防系统的核心组成部分，通过在本地执行高级分析和处理任务，不仅提高安防系统的智能化水平，还增强系统的效率和安全性。2023年中国智能车载市场规模达119亿元，预计2028年其市场规模将达640亿元，年均复合增长率为40%。智能车载系统通过端侧AI的应用，不仅提升车辆的智能化水平，还增强车辆的自主性和互动性，同时推动智能交通系统和自动驾驶技术的发展。随着AI技术的不断进步，预计未来智能车载系统将更加依赖于端侧AI，以实现更高级别的自动化和智能化。主要行业端侧AI应用场景分布 端侧AI的应用领域广泛渗透到城市管理、交通、医疗、教育、制造业、零售、农业、金融、数字社区以及文旅服务等多个行业。端侧AI通过在设备端完成数据处理，提供高速、低功耗、高隐私保护的解决方案，涉及应用如AR体验、游戏交互、美颜及虚拟试妆、智能内容推荐、用户状态感知与智能推送等，以及在汽车领域实现个性化与安全驾驶辅助。此外，端侧AI还在持续推动着工作与生活的变革，例如提升笔记本电脑的智能化水平至可与行业领先品牌竞争的程度，以及在MWC等展览会上展示的最新AI赋能的用户体验创新。端侧AI的应用预示着一个更加智能、便捷且安全的数字化生活时代的到来。1,226 1,840 2,765 3,498 4,425 5,598 20232024E2025E2026E2027E2028E中国智能安防市场规模，2023-2028E单位：亿元+35.5%中国智能车载市场规模，2023-2028E单位：亿元119 216 324 418 518 640 20232024E2025E2026E2027E2028E+40%城市交通数字社区文旅服务气象预报端侧AI智慧赋能无人驾驶车载终端信控系统医疗教育制造零售农业金融临床决策影像分析电子病历智能批改辅助教学拍照识题自动分拣供应管理维护检测商品识别自动收银智能货柜识别虫害无人监控土壤提取智能投顾风险评估诈骗分析警务系统自动手术课堂检测质量管理会员识别精准种植身份识别超载治理中国端侧AI研究报告|2024/400-072-55882024 LeadLeo15未来AI PC和AI手机将作为端侧AI领域的重要载体，预计2027年，中国AI PC占个人电脑的市场比重将达84.6%，AI手机将占51.9%的手机市场份额，同时80%以上的终端设备将具备AI处理能力（接上页下游产业链分析）来源：中国知网，白皮书，头豹研究院中国端侧AI行业下游产品与软件服务分析 AI手机搭载支持生成式AI的智能终端硬件平台，并内嵌专属智能体。AI技术不仅推动摄影技术的发展，生成式AI在手机端侧得到应用，涵盖智能助手和操作系统优化等领域。2023年，中国AI手机的出货量为0.1亿台，同时超过30家手机厂商宣布将AI大模型引入手机中。值得关注的是，预计2027年，中国AI手机的出货量将达1.5亿台，并占中国51.9%的手机市场份额，年均复合增长率为196.8%。预计2024年，中国终端设备市场中超过50%的设备将内置具备AI处理能力的硬件基础。预计2027年，该比例将上升至80%，并进入稳定增长的阶段。AI PC集成混合AI算力单元，可本地运行个人大模型，同时创建个性化知识库，进而实现自然语言交互。AI PC不仅是生产力工具，也是个人AI助理，不仅可提高效率，还能简化工作流程，同时保护隐私数据安全。2023年，中国AI PC占个人电脑的市场比重为8.1%，预计2027年其占比将达84.6%。值得一提的是，预计到 2027 年，AI 平板电脑在平板电脑市场的占比将达到75%。未来，惠普、戴尔、联想、华硕等电脑制造商计划与英特尔和AMD的新一代CPU产品发布计划保持同步，并推出搭载新处理器的AI PC。在AI PC的引领下，PC产业将从应用中心转向用户中心，从应用驱动转变为需求驱动。中国AI PC市场规模占比，2023-2027E单位：%中国AI手机销量及占比，2023-2027E0.10.40.81.31.55.5%13.2%29.6%45.3%51.9%20232024E2025E2026E2027E销量市场份额占比单位：亿台，%+196.8%全球已布局AI PC企业企业发布日期AI PC产品所应用AI技术苹果2024.3.4MacBook Air（M3）16核神经网络引擎荣耀2024.3.18MagicBook Pro 16AI硬件、AI助理、AI互联微软2024.3.22Surface Pro 10AI专属芯片NPU华为2024.4.11MateBook X Pro盘古大模型全球布局AI手机企业企业是否自研是否落地应用于AI手机的大模型vivo是是蓝心大模型OPPO与联发科技合作是AndesGPT大模型荣耀是是魔法大模型华为是是盘古大模型小米是是XiaomiAISP苹果与OpenAI合作否ChatGPT三星是是三星高斯8.1%54.7%74.6%80.3%84.6%20232024E2025E2026E2027E400-072-55882024 LeadLeoChapter 3中国端侧AI行业分析相关政策驱动因素限制因素发展趋势竞争格局中国端侧AI研究报告|2024/400-072-55882024 LeadLeo17中国一系列跨领域的政策，为端侧AI行业提供战略支持、算力基础、标准化指导、服务管理规范和应用场景创新的全方位推动力中国端侧AI行业相关政策中国端侧AI行业分析相关政策 中国一系列跨领域的政策，为端侧AI行业提供战略支持、算力基础、标准化指导、服务管理规范和应用场景创新的全方位推动力。这意味着端侧AI将在国家层面得到更加明确的发展路径、更加强大的技术支撑和更加广阔的应用前景，从而加速AI技术的创新应用和产业生态的构建。通过推动端侧AI向更深层次、更广领域发展，经济社会的数字化转型和高质量发展将获得新动能。政策名称深入实施“东数西算”工程加快构建全国一体化算力网的实施意见发布时间2023发布主体发改委，工信部等5部门主要内容该政策指出，以算力高质量发展赋能经济高质量发展为主线，充分发挥全国一体化算力网络国家枢纽节点，协同推进“东数西算”工程政策名称数字中国建设整体布局规划发布时间2023发布主体中共中央，国务院主要内容该政策指出，推进数字社会治理精准化，深入实施数字乡村发展行动，以数字化赋能乡村产业发展、乡村建设和乡村治理。同时普及数字生活智能化，打造智慧便民生活圈、新型数字消费业态、面向未来的智能化沉浸式服务体验政策名称新产业标准化领航工程实施方案（20232035年）发布时间2023发布主体工信部，科技部等4部门主要内容该政策指出，研制人形机器人术语、通用本体、整机结构、社会伦理等基础标准。同时研制人形机器人感 知系统、定位导航、人机交互、自主决策、集群控制等智能感知决策和控制标准政策名称生成式人工智能服务管理暂行办法发布时间2023发布主体发改委，工信部，教育部等7部门主要内容该政策指出，鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新，同时完善与创新发展相适应的科学监管方式，制定相应的分类分级监管规则或者指引，从而倡导人形机器人标准化政策名称关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见发布时间2022发布主体工信部，教育部，科技部等6部门主要内容该政策指出，在城市管理领域，探索城市大脑、城市物联感知、政务数据可用不可见、数字采购等场景。在交通治理领域，探索交通大脑、智慧道路、智慧停车、自动驾驶出行、智慧港口、智慧航道等场景来源：各政府部门，头豹研究院中国端侧AI研究报告|2024/400-072-55882024 LeadLeo 移动通信技术主要通过提升数据传输速度、降低延迟和增强连接性，为端侧AI提供更广阔的施展空间和实时交互能力。值得关注的是，手机、电脑、自动驾驶汽车等终端产品需配置6G网络，以完全实现应用需求。主要原因在于，涉及高清视频处理、实时数据分析和复杂模型推理的应用，需极高的数据传输带宽，同时6G网络将提供更低的延迟，进而提高应用的实时性和可靠性。此外，6G网络将采用更加先进的网络架构，包括去中心化和智能化的网络管理，将有助于提高端侧AI产品的运行效率和灵活性。终端异构混合计算资源（CPU、NPU和GPU）是推动AI技术在各个领域广泛应用的关键。异构混合架构通过结合不同指令集和体系结构的计算单元，构建一个本地计算系统。该架构能利用CPU、NPU和GPU等计算设备的优势，针对不同的AI任务提供高效灵活的处理方案。18技术进步和边缘计算的出现是端侧AI行业发展的驱动因素，主要在于移动通信技术的迭代、异构结构提高处理性能以及云计算与终端设备之间的空白被填补中国端侧AI行业发展驱动因素中国端侧AI行业分析驱动因素来源：全球移动通信系统协会，专家访谈，头豹研究院 边缘计算代表分布式系统架构的演进，其主要概念是将数据处理和业务逻辑推向网络的边缘，即靠近数据生成的位置。边缘计算旨在减轻云端服务器的计算压力，并加快物联网设备对数据处理需求的响应时间。可见，边缘计算通过提供低延迟、高隐私、低成本、高可靠性的计算平台，不仅解决端侧AI应用的核心问题，还促进AI技术在更多领域的创新应用和商业化落地。预计2025年，中国边缘计算算力将占总算力市场比重的10%，预计2030年，其占比将达70%。技术进步移动通信技术的迭代，异构结构提高处理性能边缘计算填补云计算与终端设备之间的空白各类终端产品应用端侧AI对通信技术需求程度高度相关不相关中度相关智能空调无人机智慧交通灯智能手表XR头显车载终端电脑、平板手机智慧终端购物助手智慧保姆机器人自动驾驶汽车智慧医疗机器臂体征检测器异构结构中不同处理器使用目的CPUGPUNPU时延敏感型小模型具备良好的灵活性和单线程性能图像处理LLMLVM低功耗实现持续稳定高性能具备多流处理器、高带宽内存系统模型驱动服务框架图云侧边缘侧端侧应用云服务边缘管理器边缘节点接口设备中国端侧AI研究报告|2024/400-072-55882024 LeadLeo19AI Agent的特点在于其自主性，能不依赖持续的人为指令，并依据任务需求自我调整策略，未来AI Agent将在端侧设备上独立运行，成为智能设备的核心组件中国端侧AI行业发展驱动因素（接上页驱动因素）来源：头豹研究院 AI Agent是一种技术实体，能自主感知周遭环境，通过内在的智能处理进行决策，并执行相应行动以达成特定目的。AI Agent的特点在于其自主性，能不依赖持续的人为指令，并依据任务需求自我调整策略。AI Agent的设计较为高级，一旦接收到一个目标指令，即可启动一系列复杂逻辑，包括但不限于自我学习、工具利用等，来独立推进行动计划直至任务成功完成。AI Agent兴起自主决策执行，成为端侧AI的核心组件人与AI Agent合作模式图AI Agent生态框架图人AI设定目标分配资源监管成果AI完全代理分解任务选择工具监控进度AI自助结束LLM规划记忆实用工具采取行动底层框架Agent StoreAI Agent软件、硬件提供商决策及内容生成 AI Agent将在端侧设备上独立运行，成为端侧AI的核心组件。以联想的“智能终端AI OS”为例，该系统通过将AI技术集成到个人Agent中，并嵌入智能终端，打造新一代的AI驱动操作系统。该集成方式不仅增强端侧设备的智能功能，还支持跨应用操作、主动服务和自我进化的能力。同时，端侧AI模型的运行效率显著提高，能在短时间内处理大量数据，实现快速响应和低延迟。随着AI技术的不断进步，AI Agent将在端侧AI领域扮演愈发重要的角色。云侧、端侧中国端侧AI研究报告|2024/400-072-55882024 LeadLeo 端侧AI行业发展的核心限制因素是端侧大模型参数量小，主要原因在于设备芯片功耗高、设备存储不足以及设备硬件算力不足。云端大模型参数量级通常达到上百亿至数千亿，而端侧大模型参数量较小，主流端侧大模型参数量约为20亿。此外，端侧大模型需适应不同性能的设备，在模型设计时需考虑到广泛的硬件兼容性，因此加大研发难度。20端侧AI行业发展的核心限制因素是端侧大模型参数量小，主要原因在于设备芯片功耗高、设备存储不足以及设备硬件算力不足中国端侧AI行业发展限制因素中国端侧AI行业分析限制因素来源：白皮书，专家访谈，头豹研究院模型加载需要大量内存。例如，百亿参数的模型需要数十GB的存储空间，而普通智能手机的内存容量有限。大部分手机内容为64GB、128GB、256GB，而达到TB级别容量的手机售价昂贵，消费者购买意愿低。模型算力需求高于设备硬件算力能力。多数端侧设备的算力普遍低于16TOPS。尽管在自动驾驶领域，车载设备的算力高于移动设备算力，达约47TOPS。但总体而言，端侧设备的主流算力普遍在6TOPS-8TOPS以下。模型运行需要充足电量，并产生大量热量。由于长时间运行大模型会导致设备发热，不仅影响用户体验，还损害硬件。同时，移动设备依赖电池供电，而目前移动设备的电池容量难以支撑大模型进行长时间或复杂运算。设备芯片功耗高设备存储不足设备硬件算力不足端侧大模型参数量小0.11,000110100模型规模（十亿参数）文本生成图像生成视频生成编程科学计算多模态生成云侧端侧中国端侧AI研究报告|2024/400-072-55882024 LeadLeo 混合式AI是指，终端设备和云端服务器相互协作，根据具体场景和时间，合理分配AI计算任务，以提供更优的用户体验，并高效利用计算资源。在特定应用场景中，计算任务主要在终端设备上执行，仅在需要时才将部分任务迁移到云端处理。而在以云端为核心的场景中，终端设备会根据自己的计算能力，在条件允许的情况下分担部分AI计算任务。混合式AI技术将允许开发者和提供商利用边缘设备上的计算资源，从而降低成本。同时，混合式AI能在全球范围内提供高性能、个性化服务、隐私保护和安全保障等优势。21未来端侧AI将与云侧AI结合为混合式AI一同使用，采用混合式AI，可在全球范围内实现成本效益、能效、性能提升、隐私保护、安全性增强和个性化服务中国端侧AI行业分析发展趋势来源：白皮书，头豹研究院中国端侧AI行业发展趋势中心云、边缘云及端侧关系图网络混合式AI中心云边缘云端侧混合式AI的优势低成本：生成式AI搜索的成本是传统搜索方法的10倍。通过将处理任务从云端转向边缘设备，可降低云压力和成本。强可靠性、性能和时延：在混合式AI的架构下，终端侧AI处理稳定高效，即使云服务拥堵也能保持性能，同时可避免云端高峰时的排队、延迟和拒服问题。强个性化：混合AI实现个性化体验，数字助手可定制化服务，同时确保隐私安全。此外，个性化应用不仅限于消费者，企业也可利用混合AI标准化代码编写等。低能耗：边缘设备支持高效AI处理，且能效优于云端。结合处理和数据传输，边缘设备以低能耗运行生成式AI模型。高隐私性和安全性：端侧AI的设计有助于保护用户隐私，通过本地处理查询和个人信息，避免数据泄露，对于企业或工作环境中保护敏感信息具有重要意义。0102030405中国端侧AI研究报告|2024/400-072-55882024 LeadLeovivo荣耀22中国端侧AI行业的竞争格局梯队主要根据市场力进行划分，其中包括端侧AI行业解决方案、硬件产品以及软件服务，其中第一梯队包括华为云、阿里云以及商汤科技中国端侧AI行业分析竞争格局来源：头豹研究院中国端侧AI行业竞争格局分析企业名称是否上市主要产品与服务市场竞争力华为云否HiAI3.0平台是一个具备端侧分布式AI开放能力的平台，将SoC中加入指向AI算力的NPU，完成AI手机的研发第一梯队阿里云否开源了推理引擎MNN，用于支持端侧AI应用，端侧AI技术紧贴用户在AR特效、搜索推荐等方面有诸多创新应用第一梯队商汤科技是发布行业首个“云、端、边”全栈大模型产品矩阵，其中包括应用于终端设备的“商汤端侧大模型”，以及“日日新SenseNova 5.0”大模型体系第一梯队中科创达是提供包括AI手机、AI PC等端侧品类的整体解决方案，发布AI魔方大模型和滴水OS整车操作系统，以及AI开发套件RubikLiteDK第二梯队云从科技是在人脸识别、图像识别等领域深耕，其技术广泛应用于金融、安防、交通等多个行业第二梯队汉王科技是计划于2025年推出人形机器人，该人形机器人融合先进的机器人传感技术、智能汽车技术以及采用鲲鹏鸿蒙系统的集成第二梯队寒武纪是芯片设计专长在于加速AI计算，为端侧设备提供强大的本地处理能力，支持快速响应的AI