2023年AIGC应用app智能化评测报告.pdf
《2023年AIGC应用app智能化评测报告.pdf》由会员分享,可在线阅读,更多相关《2023年AIGC应用app智能化评测报告.pdf(32页珍藏版)》请在咨信网上搜索。
1、深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-13月狐数据(MoonFox Data)2023 AIGC应用app智能化评测报告2024年3月 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-132CONTENTS研究背景与评估体系介绍01评估结果与案例展示02趋势与展望03 rQwOmRpNoOsRpQnMtPnOtM9PaO6MsQoOnPqMiNrRtQlOmOnQ9PpOoOMYmPnMuOmRpO深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-133研
2、究背景与评估体系介绍PART 01 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-134研究背景:AIGC产品快速迭代,普及率持续提升数据来源:月狐iAPP(MoonFox iApp);取数周期:2023.07-2023.12截止2023年12月生成式AI移动应用全网安装渗透率 6.7%,MAU达2,012.6万2023年AI大模型迎来创新浪潮,各大厂商密集推出和迭代基于大模型的AIGC应用产品,应用场景覆盖AI对话、写作、学习、媒体创作、办公商务等领域,满足用户多功能需求与此同时,用户对于AIGC产品的使用兴趣度不断提升,生成式AI普及范围持续扩
3、大,数据显示,截止2023年12月,生成式AI移动应用全网安装渗透率达6.7%,MAU已超2000万,其中文心一言、天工、讯飞星火、豆包等主流app产品用户规模呈现快速增长态势对话通用多媒体创作写作辅助文心一言 通义千问豆包讯飞星火天工智谱清言360智脑ChatGPTNotion AI办公商务妙鸭相机笔灵AI写作小鱼AI写作学习/翻译万彩AI通义舞王闪剪怪兽AI数字人光速写作快问AI星火语伴AI论文写作AI口语陪练海豚AI学钉钉AI吐司TusiArtGPTBOTS.AI腾讯智影WPS AI办公通用电商AiPPT有道速读通义听悟美图AI PPT超会AI摹小仙设计水母智能设计筑绘通法律海瑞智法庖丁
4、解文法小开编程CodeGeeXCopilot0200400600800 x 10000文心一言app豆包app讯飞星火app天工app智谱清言app主流AIGC应用app MAU变化AIGC应用场景图谱百姓AI讯飞智能翻译百度文库息流 AI 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-135AIGC应用app智能化评估体系介绍测量模型来源:月狐研究院一级指标二级指标指标解释基础能力上下文理解能力是否能理解用户输入的上下文,生成更连贯、具有逻辑性的回答多模态能力包括绘画、图片解析、语音交流方面的能力多语言支持对外国语问题的理解和回答情况内容实时性是
5、否能够提供最新的信息、数据内容创新性生成的内容是否具备创造性、独特性、创意性等使用体验使用成本个人用户能否免费使用app产品功能响应速度根据长字段指令的回应速度、长字段输出的速度、封闭题答题时间、作图时间等综合评估稳定性面对异常/未知输入(如在提示词中加入拼写错误的词、近义词等)是否能够准确理解和输出回答真实性输出的内容出现幻觉/不真实情况的频次安全合规对敏感词的检测严格度过滤潜在危险/敏感信息,拒绝回答或报错的频次,反映对敏感词检测的严格程度不合规问题回应对涉及违法犯罪、道德伦理、隐私财产、个人安全等问题的反应和回答情况一级指标二级指标指标解释生成质量创意写作包括自媒体、编剧、新闻稿、市场营
6、销、行业分析等方面的文稿创作能力多轮行程规划是否能根据指令进行行程重新规划的能力角色扮演是否能够支持扮演特定角色,并与用户进行流畅、沉浸式对话的能力逻辑与推理包括简单推理、复杂推理、分析/总结/归类、代码编程等能力情感对话是否支持代入特定人设(虚拟情侣),与用户进行流畅对话、提供情感支撑的能力情商问答与人际交往相关的情商问题的回应能力数学与计算包括初高中数学题、高数题、复杂计算题等回答情况专业知识问答对历史、政治、文学、物理、生物、化学等学科知识问题的回答情况智能体能力个性化程度智能体创建设定条件的多样化,反映用户创建智能体的自由度角色还原度名人、明星、动漫人物等智能体在形象、声音、语气、性格
7、等方面对本体的还原程度交互沉浸度从视、听、说方面智能体是否能给用户带来沉浸的交互体验内容契合度智能体生成的内容多大程度上与设定的条件特征契合目前市面AIGC产品众多,且底层技术和产品功能的更新迭代速度较快,为此本报告推出AIGC应用app智能化评估体系,旨在通过量化指标测量AIGC应用产品在技术能力、使用体验上的优势,帮助广大用户更直观地了解和选择AIGC产品AIGC应用app智能化评估体系由基础能力、使用体验、生成质量、智能体能力、安全合规5个一级指标以及23个二级指标构成,其中智能体能力是我们基于大模型技术的最新发展趋势所增设的评测维度,智能体是指以AI为核心构建的一个集合立体感知、全域协
8、同、精准判断、持续进化等特征的智能系统,是各家大模型厂商目前着重布局的应用场景,基于智能体功能用户可以按照自己的需求打造出更具个性化的AIGC方案,因此加入智能体能力评测指标,一方面能够更加全方位地测量AIGC应用产品的能力,除了大模型的底层能力之外,也能测量到大模型技术的应用场景落地能力,另一方面能够直观体现国产大模型的最新发展进程 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-136天工app360智脑app智谱清言app文心一言app通义千问app讯飞星火app豆包app封闭题开放题5分答案正确且有较完整的解读和推理过程答案趋近完美,可在实际
9、场景中直接使用4分答案正确但解读和推理较简单答案较完美,基本可在实际场景中使用3分答案正确但无解读和推理过程答案需人工微调后在实际场景中使用2分答案错误但有解读和推理过程答案需要较多人工调整后在实际场景中使用1分答案错误且无解读和推理过程答案完全不可在实际场景中使用0分回答不出来或无法提供答案回答不出来或无法提供答案AIGC应用app智能化指数评估方法测量模型来源:月狐研究院题目数量:500道题型:包含封闭题、开放题题目来源:C-Eval、清华社研究院、月狐研究院自主设计封闭题主要采用接入API的方式进行自动化测试和评分开放题通过专家团队评分最终的智能化指数根据题目积分来计算评分规则测试题库设
10、置评估对象评估对象为国内主流的拥有自主大模型的对话式AIGC移动应用 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-137评估结果与案例展示PART 02 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-138AIGC应用app智能化综合评估结果测量模型来源:月狐研究院评估结果显示,文心一言app智能化综合指数位居第一,其次是讯飞星火app、豆包app等拆分二级指标来看,文心一言app在基础能力、安全合规、使用体验、生成质量、智能体能力各方面表现突出,除此之外,通义千问、智谱清言app在基础能力方面也相对
11、领先,讯飞星火、天工app在安全合规方面也展现出较明显的优势天工app360智脑app智谱清言app通义千问app豆包app讯飞星火app文心一言appAIGC应用app智能化指数排行8.887.287.067.036.826.415.680246810安全合规基础能力生成质量使用体验智能体能力文心一言app通义千问app讯飞星火app豆包app天工app360智脑app智谱清言appAIGC应用app智能化指数二级指标表现 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-13901AIGC应用app基础能力表现0246810多模态能力多语言支持上下
12、文理解能力内容实时性内容创新性文心一言app通义千问app讯飞星火app豆包app天工app360智脑app智谱清言appAIGC应用app基础能力细分维度表现上下文理解能力文心一言app具备更强的记忆力,在多轮对话情景下基本能够较顺畅地衔接上下文,生成更连贯、更具逻辑性的对话内容02多模态能力文心一言app在多模态能力上的表现也较为突出,除了具备较强的图画生成能力,还支持在对话框上传图片和进行图片解析等功能,支持语音的输入和输出,用户可选择切换语音助手的声音,整体语音交流体验较顺畅03多语言支持在外语问题的理解和回答上,各家app表现差异不大,文心一言、360智脑、智谱清言等app相对突出0
13、4内容实时性文心一言、通义千问、讯飞星火、豆包和智谱清言app能够根据指令提供最新的内容,如数据、新闻资讯、天气预报等05内容创新性从内容的创造性、独特性、创意性等方面来看,目前生成式AI在内容创新性的能力上仍普遍较弱;相较之下,通义千问app内容创新性的表现相对突出,在一些需要创意写作(如品牌slogan设计)的场景下有较好的表现测量模型来源:月狐研究院 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-1310AIGC应用app文生图能力案例展示指令:我需要设计一个新版孙悟空的游戏角色,请帮我绘制一个草图文心一言app通义千问app讯飞星火app总
14、结:文心一言app能够较好地理解指令,生成符合游戏画风的设计图,图片的质量和细节更精细,文生图能力突出天工app 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-1311AIGC应用app文生图能力案例展示指令:我需要设计一个新版孙悟空的游戏角色,请帮我绘制一个草图豆包app360智脑app智谱清言app总结:豆包、360智脑、智谱清言等app也能够较好理解指令需求,但生成的图片在细节和精细度方面相对欠缺 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-131201使用成本AIGC应用app使用体验表现测量
15、模型来源:月狐研究院0246810使用成本响应速度稳定性回答真实性文心一言app通义千问app讯飞星火app豆包app天工app360智脑app智谱清言appAIGC应用app使用体验细分维度表现目前各家app均支持个人用户免费使用,使用门槛较低02响应速度文心一言app在长字段输入、长字段输出、绘画作图、答题等速度相对较快,能够较快捷地响应用户需求,其次是讯飞星火和智谱清言app03稳定性面对异常或未知输入(如在提示词中加入拼写错误的单词或近义词等),各家app基本能够准确理解和输出,稳定性表现良好04回答真实性大多数app输出的内容存在不同程度的幻觉问题(回答内容不真实),较典型的情况是3
16、60智脑app在一些封闭题回答中出现题目中没有提到的选项,天工app在一道出游行程规划的题目回答中,将广州描述成有雪景的城市;其中豆包app表现相对良好,在测试过程中未发现明显的幻觉问题 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-1313AIGC应用app生成质量表现测量模型来源:月狐研究院文心一言app通义千问app讯飞星火app豆包app天工app360智脑app智谱清言app创意写作6.607.405.105.005.206.206.60多轮行程规划10.009.007.004.005.009.003.00角色扮演10.004.002.0
17、02.002.006.008.00逻辑与推理8.046.926.667.726.046.747.66情感对话9.006.004.005.005.005.005.00情商问答9.307.908.208.306.608.009.70数学与计算6.576.657.596.655.197.245.62专业知识问答8.006.806.478.425.538.228.61各家app在不同类型的内容生成上各有优势,其中文心一言app在逻辑推理、多轮行程规划、情感对话、角色扮演等场景下生成的内容质量更好,而通义千问app更擅长创意写作,在多轮行程规划场景上也有较好的表现,讯飞星火和360智脑app则在数学计算
18、上表现突出,智谱清言app在专业知识问答、情商问答场景上获得最高分,豆包、360智脑app在专业知识问答上的表现也相对较强AIGC应用app生成质量细分维度表现 深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-1314这个问题可以通过排除法进行解答。首先,如果沙拉的女儿是我儿子的母亲,那么沙拉的女儿一定和我有亲属关系。而我是男性,所以我不可能是沙拉的女儿。因此,我和沙拉的亲属关系只可能是以下几种:父子、父女、母子、母女、兄弟、姐妹、堂兄弟、堂姐妹等。其次,如果我是沙拉的女儿的父亲,那么沙拉的女儿一定是我和另一个女性所生的孩子。那么,我和这个女性(也就
19、是沙拉的女儿的母亲)的亲属关系只可能是以下几种:夫妻、兄妹、姐弟、堂兄妹、堂姐弟等。因此,结合以上两点,可以推断出,我和沙拉的亲属关系只可能是:父子、父女、母子、母女、兄弟、姐妹、堂兄弟、堂姐妹、夫妻、兄妹、姐弟、堂兄妹、堂姐弟等。但是,根据题目所给的条件,我和沙拉的亲属关系必须同时满足两个条件:1.沙拉的女儿是我儿子的母亲;2.我是男性。因此,我和沙拉的亲属关系只能是:父子、兄弟、堂兄弟等。最后,根据题目所给的条件,我是男性,所以我和沙拉的亲属关系只能是:兄弟、堂兄弟等。但是,题目中明确指出“沙拉的女儿是我儿子的母亲”,所以我和沙拉的亲属关系只能是:兄弟。AIGC应用app生成质量案例展示-
20、逻辑与推理文心一言app首先,我们根据问题描述来分析关系:“沙拉的女儿是我儿子的母亲”:这里我们可以知道,沙拉的女儿是我的妻子。“我是男的”:这一点对确定关系没有直接影响,但为了完整性我们将其考虑进来。根据上述信息,我们可以明确以下关系:沙拉的女儿是我的妻子,所以沙拉是我的岳母。综上所述,我与沙拉的关系是岳母与女婿的关系。通义千问app如果沙拉的女儿是我儿子的母亲,那么沙拉就是我妻子。讯飞星火app如果沙拉的女儿是你儿子的母亲,那么你与沙拉的关系是女婿和岳母。豆包app因为沙拉的女儿是我儿子的母亲,所以我是沙拉女儿的儿子的父亲,即沙拉的外孙的父亲。又因为我是男的,所以我与沙拉是外孙和外祖母的关
21、系。因此,我与沙拉是外孙和外祖母的关系。天工app根据题意,沙拉的女儿是你儿子的母亲,说明你的儿子是沙拉的孙子。而你是男性,因此你与沙拉的关系是爷爷和孙子的关系。因此,你与沙拉的亲属关系为爷爷和孙子的关系。360智脑app根据题目描述,你是沙拉的女婿。智谱清言app总结:文心一言、讯飞星火和360智脑app均能推理出正确答案,其中文心一言app还给出较详细的分析过程,逻辑推理能力优势显现逻辑与推理问题回答示例:如果沙拉的女儿是我儿子的母亲,我是男的,我与沙拉是什么亲属关系?深圳市和讯华谷信息技术有限公司 版权所有 2011-2024 粤ICP备12056275号-1315AIGC应用app生成
22、质量案例展示-多轮行程规划问题1:下个月有朋友要来上海找我玩,请帮我策划一个周末上海游玩行程。问题2:这个行程很多地方我们都去过了,我朋友很喜欢看艺术展,可以在行程中增加一些看展的活动。周末上海游玩行程攻略周六上午:游览上海的城市风光,首先推荐带朋友去上海的地标建筑-东方明珠。在那里,你可以乘电梯直达东方明珠的观光层,俯瞰上海的全景。中午:在东方明珠附近的餐厅享用午餐,品尝上海本地的美食,如小笼包、生煎包等。下午:参观上海博物馆,了解上海的历史和文化。上海博物馆的展览非常丰富,有古代青铜器、古代陶瓷、古代钱币等展览。晚上:带朋友去南京路步行街感受上海的夜生活。在那里,你可以看到各种商店、餐厅和
23、娱乐场所。同时,步行街两旁的老建筑也很有特色。周日上午:游览上海的自然风光,推荐带朋友去上海的豫园。豫园是上海的一个古典园林,有着悠久的历史和精美的园林景观。在那里,你可以欣赏到中国的传统建筑和园林艺术。中午:在豫园附近的餐厅享用午餐,可以尝试一些上海的传统小吃,如糖醋排骨、清蒸鱼等。下午:带朋友去田子坊艺术区参观。田子坊是上海的一个文艺小区,有很多艺术家和设计师的工作室,也有很多有特色的咖啡馆和小店。在那里,你可以感受到上海的艺术气息和创意文化。晚上:在田子坊附近的餐厅享用晚餐,然后带朋友去外滩欣赏夜景。外滩是上海的标志性景点之一,可以看到黄浦江两岸的美景和现代化的摩天大楼。在那里,你可以感
24、受到上海的现代气息和国际化氛围。以上是一个周末上海游玩行程的推荐攻略,希望对你有所帮助。当然,上海还有很多其他值得一游的景点和活动,你可以根据朋友的喜好和兴趣进行调整和安排。当然可以,我为您重新安排一个周末的行程,特别增加了艺术展览的元素:周六上午:带朋友去上海当代艺术博物馆,这是一个展示当代艺术的场所,经常有一些令人印象深刻的临时展览。游览黄浦江边的滨江公园,欣赏黄浦江的美景,同时可以在这里进行轻松的散步。中午:在附近的餐厅享用午餐,推荐尝试上海本地的美食,如小笼包、生煎包等。下午:参观上海当代艺术博物馆的常设展览,了解更多关于中国当代艺术的知识。游览附近的田子坊艺术区,欣赏一些独立设计师的
25、作品和艺术家的创作。晚上:在田子坊附近的餐厅享用晚餐,然后带朋友去外滩欣赏夜景。外滩是上海的标志性景点之一,可以看到黄浦江两岸的美景和现代化的摩天大楼。在那里,你可以感受到上海的现代气息和国际化氛围。周日上午:带朋友去参观上海美术馆,这是一个专注于展示中国传统和现代艺术的美术馆。在美术馆附近的咖啡馆享用午餐,同时可以在这里休息一下。下午:参观上海民生现代美术馆,这里经常有一些前卫和创新的展览。在附近的餐厅享用晚餐,可以尝试一些上海的传统小吃或者国际美食。晚上:游览上海大剧院附近的艺术画廊,这里是上海艺术气息非常浓厚的地方。在结束一天的行程后,可以在附近的餐厅享用晚餐,或者选择在酒店休息。这个行
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2023 AIGC 应用 app 智能化 评测 报告
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【宇***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【宇***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。