2023爱模型厂商全景报告.pdf

?1?|?2023?1?|?2023?2?|?2023?目录 1.研究范围定义?1 2.厂商全景地图?5 3.市场分析与厂商评估?11?3.1 知识库问答?1818 爱数 14 3.2 对话式分析?1818 飞算科技 21 3.3 AI Agent?2626 澜码科技 28 3.4 通用大模型?3232 出门问问 34 3.5 行业大模型?4040 拓尔思 42 3.6 企业大模型?4646 滴普科技 49 3.7 大模型安全流通平台?5555 揽睿星舟 58 4.入选厂商列表?64 关于厂商全景报告?70?3?|?2023?关于爱分析?71 研究与咨询服务?72 法律声明?73?4?|?2023?研究范围定义?1?|?2023?1.研究范围定义 研究范围 大模型是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的模型。2023年以来，ChatGPT 引爆全球大模型市场。国内众多大模型先后公测，众多互联网领军者投身大模型事业，使得大模型市场进入“百团大战”阶段，2023 年成为公认的“大模型元年”。企业用户方面，大模型的应用速度之快超乎想象。2023 年初，企业管理层对大模型的话题还停留在大模型是什么，是不是概念炒作。短短半年，大模型已经从饭后谈资走向落地应用。大企业管理层们希望了解到大模型能为企业发展带来哪些变革，大模型的应用路径是什么，如何提升大模型的投资回报率，以及应该为拥抱大模型做哪些准备。而且，大模型吸引的人群也愈发广泛，不仅吸引 CIO、CTO 等技术管理者的关注，CEO、CMO 等非技术类管理者同样期待大模型在业务中发挥价值。这些转变表明，大模型的变革之力正日益得到产业界的认可。通过对市场规模数据的分析，能较为直观地体现出企业对大模型应用落地的热情。爱分析数据显示，2023 年中国大模型市场规模约为 50 亿元（人民币，下同）。2023 年，企业在大模型方面的采购特点是论证多、采购少，各企业计划在 2024 年开始大量释放大模型预算，因此市场规模将大幅增长，预计达到 120 亿元。爱分析认为，大模型市场从技术架构角度可以划分为基础层、模型层、中间层和应用层。基础层是指为大模型训练推理而提供的基础环境，包括湖仓一体、向量数据库、智算中心、大模型安全流通平台等。模型层是指基础大模型以及微调后的大模型，包括通用大模型、行业大模型、领域大模型和企业大模型。中间层是模型层和应用层之间的“桥梁”，有利于大模型在各种实际场景快速落地，包括大模型应用开发工具、LLMOps 工具等。应用层是指大模型应用和解决方案，包括知识库问答、智能客服、对话式分析等。大模型市场划分详见下图。?2?|?2023?本报告重点选取知识库问答、对话式分析、AI Agent、通用大模型、行业大模型、企业大模型、大模型安全流通平台七个市场进行研究。厂商入选标准 本次入选报告的厂商需同时符合以下条件：?3?|?2023?l 厂商的产品服务满足各市场分析的厂商能力要求；l 近一年厂商具备一定数量以上的企业付费客户（参考第 3 章各市场分析部分）；（注：“近一年”指 2023 年 Q1 至 2023 年 Q4）?4?|?2023?厂商全景地图?5?|?2023?2.厂商全景地图 爱分析基于对甲方企业和典型厂商的调研以及桌面研究，遴选出在大模型市场中具备成熟解决方案和落地能力的入选厂商。?6?|?2023?7?|?2023?8?|?2023?9?|?2023?10?|?2023?市场分析与厂商评估?11?|?2023?3.市场分析与厂商评估 爱分析对本次大模型项目重点研究的特定市场定义如下。同时，针对参与此次报告的部分代表厂商，爱分析撰写了厂商能力评估。3.1 知识库问答 市场定义：知识库问答是指将大模型与知识库相结合，改变原有的知识库构建、应用与运维的方式，致力于更好地支撑企业管理层及全体员工的知识检索与应用需求。甲方终端用户：企业管理层及全体员工 甲方核心需求：成本可控、验证速度较快、覆盖的企业内部用户比较多等多重因素共同作用下，知识库成为大模型在企业落地的首选场景之一。从渗透情况来看，大模型在知识构建、知识校验和知识库应用三个环节渗透较深。图 1 知识库构建流程及大模型渗透情况?12?|?2023?基于大模型在知识库场景的渗透情况，当前甲方对知识库问答主要有三项核心需求，一是压缩知识库冷启动时间，二是降低知识校验环节对人工的依赖，三是企业亟需解决幻觉问题。l 压缩知识库冷启动时间。当前，知识构建工作比较依赖话术师，他们负责整理问答对和扩写相似问，此过程比较依赖他们的个人经验。一个话术师整理一类知识库通常需要耗费大约 1-3 个月的时间。知识构建是知识库冷启动的核心环节，知识构建效率偏低会直接导致知识库冷启动时间比较长。企业需要借助大模型的理解能力和生成能力压缩知识库冷启动时间。引入大模型之后，可以提升问答对整理和相似问扩写的速度，甚至可以直接采用“大模型+文档库”的方式，实现更极致的冷启动压缩。l 降低知识校验环节对人工的依赖。在完成知识构建后，企业需要校验知识准确性以及文法细节，此环节主要靠人工来实现。并且，该工作对相关人员的工作经验有较高要求。企业希望借助大模型实现自动化知识校验。l 知识库交互方式变化，企业亟需解决幻觉问题，生成可信的答案。传统知识库主要采用人工检索方式，很难直接告诉用户答案，该交互方式比较低效。企业需要利用大模型的生成能力直接生成用户所需的答案。但是，交互方式的变化也为知识库应用带来新的挑战，即大模型幻觉导致的答案不可信。厂商能力要求：厂商需要满足三项能力要求，一是具备利用大模型进行知识分类、知识抽取和问答对拆分的能力，二是具备解决两个校验难题的方案，三是具备 RAG、微调等缓解大模型幻觉的能力。l 具备利用大模型进行知识分类、知识抽取和问答对拆分的能力。引入大模型之后，首先可以做知识域的自动分类。第二个作用是自动抽取知识点的实体和关系，本质是基于大模型做预处理，?13?|?2023?降低对人工的依赖程度。第三个作用是问答对拆分和相似问扩写。过去，该环节非常依赖话术师，有大模型以后可以实现自动化，相关人员则转变为审核职能，即主要负责知识管理，而非知识创建。l 具备解决两个校验难题的方案。直接利用大模型进行知识校验存在两个比较明显的问题。首先是过度校验。即原来的回答比较准确，但大模型会演绎出很多新内容，导致校验工作质量下降。第二个问题是新词校验存在滞后性，因为大模型背后的知识是无法实时更新的。厂商可以通过Prompt 工程、RAG、微调大模型等方式解决上述两个问题。l 具备 RAG、微调等缓解大模型幻觉的能力。企业需要利用大模型的生成能力直接生成用户所需的答案。但是，交互方式的变化也为知识库应用带来新的挑战，即大模型幻觉导致的答案不可信。厂商需要具体幻觉大模型幻觉的能力，主要有 RAG、微调两种方式。RAG 是指在大语言模型推理生成答案时，额外检索调用外部的知识，然后综合其检索结果进行回答生成。RAG 为大模型提供了准确、丰富、可解释的知识支撑，从而实现更准确的语义理解、答案推理以及答案解释。微调则是厂商根据行业或企业数据，对基础大模型进行优化，以便其更好地胜任特定任务。对基础大模型进行后训练也是一种缓解大模型幻觉的方式，但较高的成本导致其可行性较低。入选标准：1.符合知识库问答市场分析的厂商能力要求；2.近一年厂商在该市场至少服务 1 家企业（含 POC）。代表厂商评估：?14?|?2023?爱数 厂商介绍：爱数是一家全域数据能力服务商，通过全域数据的整合、治理、洞察与保护，实现数据的资产化和知识化，与客户共同打造数据驱动型组织。2003 年爱数在长沙起步，2006 年上海爱数成立，2023 年爱数集团正式成立，公司双总部位于上海、长沙，目前全球员工约 1700 人，业务遍及 60 多个国家与地区，合作伙伴超过千家，客户积累超过 27000 家，分布于金融、高端制造、运营商、政府、公共事业等各行业。产品服务介绍：爱数产品架构分为基础层、认知层和产品层。基础层提供 GPU 集群和混合数据湖；认知层则通过领域大模型与领域知识网络相互增强，实现认知能力；产品层是指 AnyFabric（数据编织架构）、AnyShare（智能内容管理平台）、AnyRobot（可观测性平台）和 AnyBackup（统一数据管理平台）等多个应用产品，它们通过认知助手获得大模型赋能。AnyShare family 7 是 AnyShare 的最新产品，它是爱数打造的属于 AGI 时代的智能内容管理平台。AnyShare family 7 通过挖掘非结构化数据的标签、编目、实体对象，形成的事件信息和知识，可以服务于合同一致性和风险审核、文案撰写、资料查找。并且，在 AnyShare 认知助手加持下，AnyShare family 7 实现了大模型辅助创作、辅助内容阅读和智能搜索，同时可以通过内容开放 API 和组件被企业应用集成。?15?|?2023?厂商评估：爱数提供“企业知识+大模型”端到端解决方案，涵盖算力、基础大模型、知识化、应用等多个层面。并且，AnyShare 存量客户只需采购爱数大模型一体机和 AnyShare 认知助手，即可实现轻量化升级。在大模型幻觉方面，爱数以检索增强生成模式（RAG）实现大模型领域化，可以有效缓解幻觉产生。在交付方面，爱数拥有完备的数据管理能力和服务团队，有利于大模型在企业真正发挥价值。同时，AnyShare family 7 全模块开放，支持企业搭建个性化应用和流程。l 爱数提供“企业知识+大模型”端到端解决方案，涵盖算力、基础大模型、知识化、应用等多个层面。在算力层面，爱数推出大模型一体机（AS19000），不仅让企业能够“开箱即用”，而且该产品将大模型训练与推理分离，实现低成本训练和低资源推理。爱数大模型一体机具有国产芯片和国外芯片两种型号，可以满足不同企业的需求。在基础大模型方面，爱数采用“中立”的架构设计，避免捆绑企业。如果企业没有倾向的大模型，可以直接采购封装了基础大模型的爱数大模型一体机；如果企业有倾向的大模型，可以直接将其接入 AnyShare family 7。基础大模型之上是企业数据知识化能力层，爱数可以通过机器学习算法对企业数据进行解构，然后通过重新组装实现语义对齐，最终将其编织到领域知识网络之中。在此方面，爱数具备将企业数据以低成本、自动化方式转化为企业知识的能力。最上面是应用层，爱数提供内容门户、文档中心、工作中心、知识中心、表格中心、SAP 数据资产管理等多个应用。l AnyShare 存量客户只需采购爱数大模型一体机和 AnyShare 认知助手，即可实现轻量化升级。企业比较担心大模型应用对企业现状的挑战。一是 IT 投入挑战，如果需要企业将原有系统推倒，转而使用大模型相关应用，会带来比较高的投入。二是 IT 负责人规划能力会受到质疑，因为企业原有系统可能刚刚完成建设，未到更新换代的时候，IT 负责人推进大模型应用落地可能受到来自企业内部的质疑。三是业务连续性受到挑战，企业将原有系统推倒重建，可能需要较长时间完成系统切换，影响业务开展。爱数 AnyShare 产品推出时间较久，有众多存量?16?|?2023?客户。对他们而言，只需采购爱数大模型一体机和 AnyShare 认知助手，即可实现轻量化升级。大模型一体机包含算力和基础大模型，AnyShare 认知助手包含爱数所有基于大模型构建的 AI 能力。因此，AnyShare 存量客户无需推倒原来系统，即可低成本、快速地完成“大模型升级”。l 爱数以检索增强生成模式（RAG）实现大模型领域化，有效缓解大模型幻觉。目前，大模型领域化有两种解决思路，分别是检索增强模式（RAG）和 Finetune（微调）。检索增强是指在大语言模型推理生成答案时，额外检索调用外部的领域知识网络（领域数据、概念库、知识图谱等），然后综合其检索结果进行回答生成。领域知识网络为大模型提供了准确、丰富、可解释的知识支撑，从而实现更准确的语义理解、答案推理以及答案解释。相比单纯依靠模型训练，外部领域知识网络的引入可以大幅提升回答的准确性和合规性。它有效减少了大模型幻觉，使应用更加可控。爱数以领域知识网络“可控制、可编辑、可保护、可溯源”等特性弥补大模型“不可控、难编辑”等缺陷，有效减少大模型“幻觉”现象的发生。同时，在构建领域知识网络的过程中，爱数利用大模型的知识提取能力，从已有数据中抽取补充知识，实现知识网络的不断丰富和优化。通过这种良性循环，外部知识网络的引入强化了大模型的知识抽取能力，从而反过来进一步完善知识网络本身。最终使基于该知识网络的大模型应用效果持续提升。l 爱数拥有完备的数据管理能力和服务团队，有利于大模型在企业真正发挥价值。基础大模型是实现“企业知识+大模型”的核心，但不是全部，厂商还需要具备权限控制、杀毒、水印等一系列数据管理能力。如果厂商只掌握预训练、微调等方法，容易导致企业在“企业知识+大模型”的应用之路上停留在比较初级的阶段。爱数 AnyShare 产品已有十余年历史，交付了数千家企业，经过几轮迭代逐渐形成比较完备的数据管理能力，包括权限控制、海量分布式文件管?17?|?2023?理、容灾、备份、杀毒、水印、国产化、涉密管理等。以权限控制为例，企业内不同角色能接触到的数据、能用大模型来理解的数据必受个人权限限制，爱数能够保证经过语义理解的生成式搜索结果一定是根据使用者所拥有权限能看到的文档所产生的，并能在几十到几百毫秒完成一系列查找、生成工作。除此之外，爱数拥有比较完备的组织架构为企业提供端到端的服务。爱数打造了专业的、独立于产品研发的服务团队，分区域为当地客户提供开发、部署等服务。爱数的产品研发团队则专注核心产品的研发迭代，保持产品稳定性。相较于组织架构比较单一的厂商，爱数在交付周期、版本控制、服务品质等方面具有一定优势。l AnyShare family 7 全模块开放，支持企业搭建个性化应用和流程。AnyShare family 7 拥有全新的架构设计，每个模块均保持高度开放性，支持企业搭建个性化应用和流程。企业里一个文档全生命周期包括自动采集录入、对象处理、信息化、杀毒、知识化、纳入知识体系、搜索、门户呈现等环节，AnyShare family 7 在每个环节让特定模块来负责，并保持它们的高度开放性。比如企业可以自定义审批、打水印等流程，自定义搜索目标（人、文档或者产品），自定义门户的个性化呈现等。企业可以在每一环节低成本、快速地按照自身需求进行系统接入和开发。典型客户：国泰君安、金诚同达?18?|?2023?3.2 对话式分析 市场定义：对话式分析是指将大模型与数据分析相结合，改变原有的交互方式与工作流程，致力于更好地支撑企业管理层和业务部门数据分析需求。甲方终端用户：企业管理层、业务部门 甲方核心需求：随着大模型带来能力突破，让 AI 与数据分析相互结合，使分析结果更好地支撑企业管理和业务发展，促进企业内部数据价值释放，成为了当下企业尤为关注的话题。爱分析认为，对话式分析是大模型在 2024 年的重要落地场景之一。核心原因在于对话式分析正在朝着逐渐降低门槛，增强企业业务部门自主性，从而实现自助式分析能力的方向发展。企业对对话式分析有两项核心需求，一是借助大模型实现更准确的意图理解和 SQL 生成，二是借助大模型实现深度分析。l 借助大模型实现更准确的意图理解和 SQL 生成。传统的取数过程中，用户需要明确掌握 SQL语言和相应的数据库结构来提取所需信息。随着 NL2SQL 技术兴起，用户只需使用自然语言描述需求，由后端系统将其转换为适当的 SQL 语句，简化了查询过程。但 NL2SQL 技术仍有缺陷，其自然语言处理能力较弱，在处理模糊查询和复杂意图查询方面存在挑战。例如，NL2SQL技术难以解决像“我想查询公司内部有多少本科以上学历的员工”这种问题，该模型可以准确识别“本科”一词，但难以理解“本科以上”这四个字。大模型为 NL2SQL 带来了更强大意图?19?|?2023?理解能力，在处理模糊、多义或复杂的用户查询时，系统可以更准确地识别用户的真实需求。当然，在大模型出现之前，市场上也存在解决以上问题的方法。这是主要依靠项目化的方法，通过不断的配置和人工微调的方式来解决查询模板无法处理的问句。该方法导致项目交付周期长、成本投入大，并且长期需要运维人员持续维护。除在意图理解方面的优势外，大模型在 SQL 生成方面也可以给企业带来更好的体验。2023 年8 月，Defog 团队推出 SQLCoder 大模型，专门用于将自然语言问题转化为 SQL 查询。这是一个拥有150亿参数的模型，在自然语言到SQL生成任务上，其性能略微超过gpt-3.5-turbo，并且显著地超越了所有流行的开源模型。l 借助大模型实现深度分析。取数可以视为分析的前置动作，也可以视为浅层分析。其属于描述性分析，用于回答“发生了什么？”，核心要求是呈现全面、准确、实时、可视化的数据。除此之外，企业还需要诊断性、预测性和处方性数据分析。诊断性分析用于回答“为什么会发生”，核心要求是能够深入了解问题的根本原因。预测性分析用于回答“未来可能发生什么”，核心要求是通过历史数据来预测未来。处方性分析用于回答“现在我应该做什么”，核心要求基于数据和分析技术提出具体建议。诊断性、预测性和处方性数据分析需要用相关性分析、预测性分析、因果推断等分析方法来具体实现。企业对对话式分析的期待不局限于取数，而是希望它在深度分析方面可以发挥更大价值。?20?|?2023?图 2 数据分析的四个层次 厂商能力要求：厂商需要满足两项能力要求，一是具备限定查询边界的能力，二是具备训练或微调大模型的能力。l 具备限定查询边界的能力。为保证取数准确率，目前主要采用限定查询边界的解决思路。具体而言，有两种实现路径。一是将大模型与宽表或语义层相结合，运用宽表和数据源来构建语义层，继而在该语义层上进行相应的匹配和查询。这类模式的具体操作方式是，先去精准地匹配到语义层，如果未能实现精准匹配，一般会通过一个亿级别的小模型先去精准地匹配到宽表，然后基于宽表再用大模型去做理解，二是基于指标平台，这一点与前面提到的语义层颇为相似，是把常见的指标先基于宽表进行计算，如果再运用自然语言查询指标，其精确度会相对较高且基本上具备可控性。这种方式能够在一定程度上降低幻觉现象。l 具备训练或微调大模型的能力。企业可以直接用基础大模型进行相关性分析和预测性分析，但效果欠佳。需要厂商对基础大模型进行训练或微调，一是强化其各项数据分析的能力，二是提?21?|?2023?升多轮对话能力，因为深度分析时往往需要用户与系统的多次交互才能获得最终结果。当前，通过大模型实现因果推断难度较大，对厂商而言不属于必要能力项。入选标准说明：1.符合对话式分析市场分析的厂商能力要求；2.近一年厂商在该市场至少服务 1 家企业（含 POC）。代表厂商评估：飞算科技 厂商介绍：飞算数智科技（深圳）有限公司（简称“飞算科技”）是一家坚持自主创新的数字科技公司，作为新一代数字化技术服务专家，飞算科技以互联网科技、大数据、人工智能等技术为基础，结合多年实践经验推出一系列数字科技产品。致力于为民生产业、中小企业、金融企业等客户提供科技支持与服务，助力客户实现科技化、数字化、智能化转型升级。产品服务介绍：飞算科技拥有产业数字化服务、软件科技服务、数据治理服务、数智应用服务、产业科技服务、数字决策服务等六大业务板块，涵盖 SoFlu 软件机器人、SoData 数据机器人、AI.Modeler 建模机器人、AI.Insight、产业数智通等产品及解决方案。?22?|?2023?飞算科技积极将旗下产品及解决方案与大模型融合，已取得一定成果，AI.Insight 是其中代表。AI.Insight 是一款 AI 赋能的数据分析产品，它在企业数字化转型过程中发挥承上启下作用，形成以数据为基础的业务决策支撑，提高企业决策的准确性。AI.Insight 属于通用产品，不局限于特定行业。图 3 AI.Insight 技术架构 厂商评估：数据分析与决策支援是大模型的重要落地场景之一。借助大模型，数据分析正朝着企业业务部门自助式分析方向发展。飞算科技的 AI.Insight 以大模型为技术支撑，支持业务人员与企业数据实现对话式交互，规避以往业务人员与 IT/分析人员的“交流鸿沟”和复杂流程。并且，AI.Insight 提供可视化分析、异常分析、自动算法分析等多项能力，实现一站式数据分析，解决分析工具割裂难题。同时，飞算科技还以 AI.Insight 为核心打造客户运营全流程解决方案，助力企业可持续发展。?23?|?2023?l 飞算科技具备完善的数据分析方法论，有利于建立企业业务部门对 AI.Insight 的价值共识，推动立项。飞算科技深耕数据分析多年，已搭建一套完善的数据分析方法论，该方法论明确展示企业决策与数据分析方法的关联关系。具体而言，飞算科技认为从数据到决策的过程包括四个环节，分别为“发生了什么”、“为什么发生”、“将发生什么”和“我该怎么做”，依次对应描述性分析、诊断性分析、预测性分析和处方性分析。图 4 数据分析过程、方法及工具 并且，飞算科技对当前企业数据分析痛点有深刻认知，将其归纳为“分析工具割裂”、“人的沟通割裂”、“流程复杂”三个方面。基于数据分析方法论和痛点认知，飞算科技可以快速诊断企业在数据分析方面存在的问题，与企业业务部门达成共识，进而推动立项。l 以大模型为技术支撑，AI.Insight 支持业务人员与企业数据实现对话式交互，规避以往业务人员与 IT/分析人员的“交流鸿沟”和复杂流程。数据分析领域的最大痛点：懂业务的人不懂技?24?|?2023?术，懂技术的人不懂业务，即技术部门与业务部门的割裂造成沟通困难。两类群体的沟通过程主要有四个痛点。一是业务人员无自主分析能力，需要向 IT 提出分析需求。二是业务人员提出需求给 IT/分析人员，往往出现 IT/分析人员对需求的理解存在偏差。三是 IT/分析人员数据整理复杂，业务人员借助分析工具进行数据分析，时间周期长。四是给出的分析结果并不能满业务需要，从而往复沟通。AI.Insight 应用大模型的自然语言交互能力，让业务人员可以自主跟企业数据直接交互，并将分析结果通过自然语言生成业务人员易理解的语言描述。该方式规避了业务人员与 IT/分析人员沟通难的问题，让分析周期从数周缩短到数日。l AI.Insight 提供可视化分析、异常分析、自动算法分析等多项能力，实现一站式数据分析，解决分析工具割裂难题。不同分析目的需透过不同分析工具才能达成，企业使用数据进行决策时一般需要综合使用传统 BI 工具、编程工具、建模平台、情境模拟等多种工具，分析工具割裂造成数据分析成本较高以及效率较低。AI.Insight 将多种功能集于一身，可实现一站式数据分析。具体而言，AI.Insight 有四个亮点功能。一是异常分析，AI.Insight 可以自动对数据进行时序异常检测、因果关联、波动归因等原因分析，并给出结论性描述。二是自动分析，AI.Insight 可以对数据洞察点进行 Auto OLAP 分析，支持上卷、钻取、切片、切块等多维度分析与多种机器学习算法分析。三是客户特征分析，AI.Insight 基于数据洞察点进行客户特征分析，定位目标客户群体。四是智能图表推荐，AI.Insight 通过智能图表推荐引擎展示合适的图表，并支持用户灵活切换图表。l 飞算科技以 AI.Insight 为核心打造客户运营全流程解决方案，助力企业可持续发展。经济发展放缓，行业红利消退，企业逐渐重视存量客户运营。较多企业希望能充分地释放存量客户的复购潜力，将其作为业绩增长重点。但是，多数企业使用的方式比较传统，它们依赖经验法则和人工操作，导致效果欠佳。?25?|?2023?飞算科技以 AI.Insight 为核心，结合 AI.Modeler 自动建模平台和 AI.Marketer 自动化营销平台，为企业提供客户运营全流程解决方案。该解决方案可应用于“高潜力存量客户名单筛选”、“客户唤醒与交叉销售”等多个场景，助力企业实现高效的客户运营。典型客户：某国有银行重点分行、某知名餐饮连锁企业?26?|?2023?3.3 AI Agent 市场定义：AI Agent 是指以大模型为驱动，具有自主理解感知、规划、记忆和使用工具的能力，能自动化执行完成复杂任务的系统。甲方终端用户：企业 IT 部门、业务部门 甲方核心需求：AI Agent 相较于 Copilot，有诸多能力的提升。其中，Planning 能力是二者最大的区分，也是企业最为需要的能力项。Copilot 需要明晰的 Prompt 才能发挥作用，AI Agent 则与此不同，它可以自行规划并执行任务。AI Agent 完成计划后，企业需要其调用组件来执行任务。对大企业而言，可能需要上百个 AI Agent，需要对多 AI Agent 进行统一管理。l 企业需要 AI Agent 的 Planning 能力。AI Agent 相较于 Copilot，有诸多能力的提升。其中，Planning 能力是二者最大的区分，也是企业最为需要的能力项。Copilot 需要明晰的 Prompt才能发挥作用，AI Agent 则与此不同，它可以自行规划并执行任务，也可以调动一系列组件来完成目标，甚至可能探索周围环境。例如 AI Agent 可以知道用户所在公司差旅政策以及用户对航空公司、酒店的偏好信息，当用户跟它下达指令就可以说“帮我安排下周的行程”，它们将直接输出切实可行的方案。l 企业需要 AI Agent 调用组件来执行任务。AI Agent 若要完成用户的任务指令，通常需要调用各种组件，例如文档处理组件、数据分析组件等。这将改变人与系统的交互方式，用户不再需?27?|?2023?要对系统功能以及操作路径进行记忆，而是通过自然语言让 AI Agent 调用组件来执行任务。l 企业需要对多 AI Agent 进行统一管理。目前来看，尚不具备满足所有场景需求的“超级 AI Agent”，企业要针对不同场景构建多个 AI Agent。对大企业而言，可能需要上百个 AI Agent。如果考虑 AI Agent 的生命周期与更新低代，管理工作将变得更为复杂。因此，企业需要对多 AI Agent 进行统一管理。厂商能力要求：厂商需要具备构建 AI Agent Planning 能力的解决方案。当前，尚不具备成熟的、统一的构建方法，各家厂商各有千秋，包括结合专家 SOP、引入 CoT 概念或 ReAct 模式等。AI Agent 若要完成用户的任务指令，通常需要调用各种组件。相应地，厂商需要具备丰富的组件库，让 AI Agent 能真正发挥价值。对于企业的个性化需求，厂商应预留低代码开发模块来满足。企业需要对多 AI Agent 进行统一管理。从成本、安全等方面考虑，企业一般不会长期依赖厂商提供相关服务，而是需要一套成熟工具链实现能力内化。该工具链应该覆盖 AI Agent 构建与运营的全生命周期管理。l 厂商需要具备构建 AI Agent Planning 能力的解决方案。AI Agent 相较于 Copilot，有诸多能力的提升。其中，Planning 能力是二者最大的区分，也是对企业最为需要的能力项。厂商需要具备构建 AI Agent Planning 能力的解决方案。当前，尚不具备成熟的、统一的构建方法，各家厂商各有千秋。有的厂商采用结合专家 SOP 的方式，由业务专家将业务流程梳理成 SOP的形式，将其与大模型结合。此方法适用流程比较固定场景，例如财报分析、简历分析等。有的厂商在方案中引入 CoT 概念或者 ReAct 模式，让大模型生成关于任务指令的解决方案。l 厂商需要具备组件库和低代码能力。AI Agent 若要完成用户的任务指令，通常需要调用各种组件，例如文档处理组件、数据分析组件等。并且，交互方式的改变是的用户无需记忆系统功能和操作路径，进而突破系统组件上限，进一步增加对组件的需求。相应地，厂商需要具备丰富?28?|?2023?的组件库，让 AI Agent 能真正发挥价值。对于企业的个性化需求，厂商应预留低代码开发模块来满足。l 厂商应提供 AI Agent 构建与运营的全生命周期管理平台。企业需要对多 AI Agent 进行统一管理。从成本、安全等方面考虑，企业一般不会长期依赖厂商提供相关服务，而是需要一套成熟工具链实现能力内化。该工具链应该覆盖 AI Agent 构建与运营的全生命周期。入选标准说明：1.符合 AI Agent 市场分析的厂商能力要求；2.近一年厂商在该市场至少服务 1 家企业（含 POC）。代表厂商评估：澜码科技 厂商介绍：澜码科技是一家基于大语言模型的 Agent 平台公司，是国内探索大语言模型应用落地和 AI Agent的先行者。基于底层大语言模型，澜码科技自主研发了能够连接人和系统的企业级 Agent 平台“AskXBOT”，助力企业构建基于专家知识的超级自动化，从而提升业务质量和效率。产品服务介绍：AskXBOT 平台是澜码科技自主研发的基于大语言模型的企业级 AI Agent 平台。平台集 Agent 与?29?|?2023?工作流设计、开发、使用、管理，以及知识沉淀于一体。在 AskXBOT 平台上，企业可以用对话的方式提出需求，设计、创建和管理 Agent，快速定制企业级 AI Agent 来完成各类任务，包括财报分析、组卷判卷、供应商资质审查、智能风控、财务审核、经营分析、招聘助手等。厂商评估：澜码科技助力企业实现“专家知识普惠”，提升基层员工生产力。并且，澜码科技已构建较完善的业务价值体系，搭配成功案例可快速推进 AI Agent 立项。AI Agent 属于新兴领域，澜码科技是该领域的先行者。针对“企业如何建设 AI Agent”的问题，澜码科技经过探索已沉淀出一套较完整的方法论。在商业模式方面，澜码科技较为独特，提出了“先有收益，再分配”的商业模式，希望与行业伙伴共建 AI Agent 生态。l 澜码科技助力企业实现“专家知识普惠”，提升基层员工生产力。?过去，企业业务专家的经验主要通过“SOP 文件+培训”的方式传递至基础岗位员工，传递过程存在大量损耗，导致成本较高且效果欠佳。基于 AskXBOT 平台，企业可以将专家知识快速传递给基层员工，实现知识普惠，进而提升基层员工生产力。具体而言，AskXBOT 平台先将专家知识教给 AI Agent，然后让其赋能大量基层员工，帮助他们将工作能力由“新手”、“高级新手”快速成长为熟练级的胜任者，工作状态也相应地从仓促应对转变为从容胜任。例如，某银行借助 AskXBOT 平台在短期内对 18 万名员工完成保险业务培训，这在过去是难以实现的。l 澜码科技已构建较完善的业务价值体系，搭配成功案例可快速推进 AI Agent 立项。讲清楚大模型业务价值是 CEO 同意将大模型纳入企业未来规划的必要条件之一。大模型厂商需要构建自己的业务价值体系，与 CIO/CTO 合作推动企业管理层对大模型及其应用的价值认同，最终实现立项。澜码科技围绕 AskXBOT 平台构建了一套较为完善的业务价值体系，包括增收、降本、提效和降风险等要点。同时，澜码科技已在金融、教育、零售、政务等行业落地多个成功案例，?30?|?2023?可作为业务价值的佐证用来增强对 CEO 的说服力。增收相关案例：某银行在信贷申请高峰期人手不够，一般有两种处理选项。一是降低审核标准，加快审核速度，但会带来更多坏账风险；二是坚守审核标准，但过长的等待时间会将客户推向其他银行。澜码科技利用 AskXBOT 平台把审核专家的知识通过 CUI 的方式让一线初级员工也能用起来，在保证审核质量的同时缩短审核时间，留住更多潜在信贷客户，实现增收。降本相关案例：某海外汉语教学机构服务于一带一路上多个国家的学员，对他们进行汉语培训与考试。考试的工作流程一般是先由汉语专家确定考试模板，再需要初级和中级教育人员执行出题与翻译工作。当前，该机构聘请了 5 名全职教研员和 150 名外聘实习教师从事第二阶段的工作。澜码科技利用 AskXBOT 平台可以迅速完成出题工作，帮助该机构减少对初级和中级教育人员的人力支出。l 澜码科技探索出较完整的 AI Agent 建设方法论，并提供全流程服务。AI Agent 属于新兴领域，澜码科技是该领域的先行者。针对“企业如何建设 AI Agent”的问题，澜码科技经过探索已沉淀出一套较完整的方法论。图 5 澜码科技 AI Agent 建设方法论?31?|?2023?澜码科技的 AI Agent 建设方法论包括三个步骤。第一步是把企业关键业务流程所需要的专家知识进行数字化处理，包括梳理问答、搭建指标中台等。第二步是基于 CUI 的柔性交互，致力于让系统适应人，而不是人适应系统。第三步是把整个使用过程记录下来，作为持续补充和优化专家知识的依据。AI Agent 建设过程中涉及专家知识梳理、指标中台搭建等工作，澜码可提供相关服务。为满足企业需求，澜码科技配备了专业的知识团队，职能类似于传统 AI 时代的数据标注团队。并且，澜码科技的创始人兼 CEO 周健也可参与指导项目，贡献行业及流程 Know-how。周健曾是依图科技的 10 号员工和弘玑 Cyclone CTO，具备多年 B2B 一线业务经验。l 澜码科技提出“先有收益，再分配”的商业模式，希望与行业伙伴共建 AI Agent 生态。澜码科技致力于与合作伙伴建立更深层次的合作。具体而言，澜码科技负责提供 AskXBOT 平台等生产力工具以及相关服务，由合作伙伴提供专家知识和业务场景。待双方合作取得业务收益之后，在进行收益分配。并且，澜码科技将遵循排他性的合作原则，在每个细分行业中只合作一家企业。如今，猎头，咨询、电商选品等多个行业的数家企业对该合作模式感兴趣，已与澜码科技进入商务谈判环节。典型客户：太平保险、桃李中文、CGL、超级导购、湖北省市场监督管理局?32?|?2023?3.4 通用大模型 市场定义：通用大模型是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的非开源免费模型。甲方终端用户：行业头部企业 IT 部门 甲方核心需求：大多数企业只需要大模型应用，而头部企业对大模型的需求则不局限于此。通用大模型是头部企业IT 基础的重要拼图之一，企业需要依托通用大模型进行能力建设。企业需要通用大模型可以支撑业务，发挥价值。并且，企业需要“通用大模型+算力”的综合解决方案来应对“卡荒”。l 企业需要依托通用大模型进行能力建设。?大多数企业只需要大模型应用，而头部企业对大模型的需求则不局限于此。通用大模型是头部企业 IT 基础的重要拼图之一，企业需要依托通用大模型进行能力建设。企业需要通用大模型支撑多种业务场景，例如客服、数据分析、营销素材生成等。这些场景映射到模型本身，则对模型能力提出要求，包括文本生成、SQL 生成、多模态等。当前，尚不存在“六边形战士”类的全能大模型，头部企业可以通过采购、部署多个通用大模型，共同完成大模型能力建设。l 企业需要通用大模型可以支撑业务，发挥价值。?部署通用大模型并不能直接为企业带来价值，还需要“改造”和“开发”。改造是指结合企业私有数据进行微调甚至后训练，以便其更好地执行特定任务。开发是指需要基于通用大模型开发全新的上层应用或者赋能已有的 IT 系统。?33?|?2023?l 企业需要“通用大模型+算力”的综合解决方案来应对“卡荒”。?通用大模型的微调、推理需要高端 AI 芯片作为算力底座。但是，美国政府持续扩大针对中国芯片的出口限制，加剧了国内算力供应的压力，AI 芯片价格持续走高且一卡难求。企业通常需要“通用大模型+算力”的综合解决方案来应对“卡荒”，解决对算力的后顾之忧。厂商能力要求：企业基于对通用大模型的需求，向厂商提出多项能力要求。一是通用大模型需要具备鲜明的能力特点。二是厂商需要提供大模型应用开发工具、LLMOps 工具、AI Agent 等工具