基于多租户架构的企业GPT构造器的设计及其在5G消息上的应用.pdf

2 8 0 2 0 2 4年3期2 0 2 4年第4 6卷第3期基于多租户架构的企业G P T构造器的设计及其在5 G消息上的应用李红纲 丁 健作者简介:李红纲(1 9 7 7-),硕士,高级工程师,研究方向为云计算、大语言模型、消息服务、O S S/B S S;丁健(1 9 8 2-),本科,中级工程师,研究方向为云计算、智能计算、大模型运营。(浩鲸云计算科技股份有限公司 南京2 1 0 0 1 2)摘 要 C h a t G P T以其强大的自然语言处理和知识推理技术,在全球范围内引起了大型语言模型(L LM)的热潮。通过基于多租户基础架构的企业G P T构造器,实现了企业网站抓取和文档加载功能,为中小型企业租户提供了私域数据喂养和向量化服务,并将语料向量作为L LM的长期记忆,构建了企业级G P T能力。通过配置的5 G消息C h a t b o t同企业客户进行交互,在交互过程中,其能通过检索向量数据库中的企业相关信息,提供企业级的C h a t G P T服务。关键词:大语言模型;向量数据库;C h a t G P T;企业G P T;多租户;5 G消息;聊天机器人中图分类号 T P 3 1 1.5D e s i g no fM u l t i-t e n a n tB a s e dE n t e r p r i s eG P TB u i l d e ra n dA p p l i c a t i o nf o r5 G M e s s a g eL IH o n g g a n ga n dD I N GJ i a n(W h a l eC l o u dT e c h n o l o g yL t d,N a n j i n g2 1 0 0 1 2,C h i n a)A b s t r a c t W i t hi t sp o w e r f u ln a t u r a l l a n g u a g ep r o c e s s i n ga n dk n o w l e d g er e a s o n i n gc a p a b i l i t y,C h a t G P Th a sc a u s e dt h ec r a z eo f l a r g e l a n g u a g em o d e l s(L LM)a r o u n d t h ew o r l d.T h r o u g h t h e e n t e r p r i s eG P Tb u i l d e rb a s e do nm u l t i-t e n a n t i n f r a-s t r u c t u r e,i t r e a l i z e s t h e f u n c t i o n so f e n t e r p r i s ew e b s i t e c r a w l i n ga n dd o c u m e n t l o a d i n g,p r o v i d e sp r i v a t ed o m a i nd a t a f e e-d i n ga n de m b e d d i n gs e r v i c e f o rs m a l l a n dm e d i u m-s i z e de n t e r p r i s et e n a n t s,a n du s e se m b e d d e dv e c t o r sa st h el o n g-t e r mm e m o r yo fL LMt ob u i l de n t e r p r i s e-l e v e lG P Tc a p a b i l i t i e s.T h r o u g ht h ec o n f i g u r e d5 G m e s s a g eC h a t b o t t o i n t e r a c tw i t he n t e r p r i s ec u s t o m e r s,i t c a np r o v i d ee n t e r p r i s e-l e v e lC h a t G P Ts e r v i c e sb yr e t r i e v i n ge n t e r p r i s e-r e l a t e d i n f o r m a t i o ni nt h ev e c t o rd a t a b a s e.K e y w o r d s L a r g eL a n g u a g eM o d e l,V e c t o rd a t a b a s e,C h a t G P T,E n t e r p r i s eG P T,M u l t i-t e n a n t,5 Gm e s s a g e,C h a t b o t0 引言大语言模型(L LM)指使用大量文本数据训练的深度学习模型,其可以生成自然语言文本或理解语言文本的含义。大语言模型具有令人印象深刻的自然语言理解和生成能力,具备生成各种格式和风格的文字回答等能力1。2 0 2 2年1 1月底,O p e n A I发布了C h a t G P T,使其一跃成为A I领域的现象级应用。国内百度、阿里等互联网头部企业和清华大学等科研机构竞相布局A I产业,并推出了“文心一言”“通义千问”“智谱清言”等大语言模型。5 G消息2基于G S MA U n i v e r s a lP r o f i l e业务标准,当前业务部署采用2.4版本3,在消息内容上支持富媒体格式,并引入了新的基于人机交互方式,构建了统一可信的信息服务入口。5 G消息支持与L LM能力平台、企业业务平台等对接集成,企业客户可以通过5 G消息更方便地体验企业L LM服务。1 企业痛点L LM通过5 G消息为企业带来诸多收益,但由于L LM的训练数据集主要来源于互联网数据,如C h a t G P T的训练数据集来 自B o o k s C o r p u s,W e b T e x t,C o mm o nC r a w l,W i k e p e-d i a,G u t e n b e r等4。企业私域信息并未经过L LM训练,当客户查询关于企业的业务信息时,L LM无法进行答复。因此,企业界(尤其是中小型企业)希望能打通企业数据和L LM的互联网数据,构建企业自有G P T,服务企业目标客户。2 引入企业数据的方式企业在使用L LM为自身服务的过程中,可以采用不同的方式,如提示工程(P r o m p tE n g i n e e r i n g)、向量表示(E m-b e d d i n g)和微调(F i n e-T u n i n g)等5。2.1 提示工程(P r o m p tE n g i n e e r i n g)提示工程通常应用自洽提示、知识生成提示、知识整2 0 2 4年3期2 8 1 合提示、控制生成提示、概述提示、情感分析提示等技巧,实现企业想要的特定目标6。其优势是无需开发对接,即开即用。但劣势是利用提示工程加入企业数据的方式,需要在 每 次 交 互 时 作 为O n e-s h o t或F e w-s h o t加 入 会 话背景。2.2 向量表示(E m b e d d i n g)利用L LM的E m b e d d i n gA P I,可以将企业知识转化为向量,并存储到向量存储(V e c t o rS t o r e)中。企业G P T在提供交互服务时,首先会同企业向量数据库中的向量进行语义匹配,然后由L LM根据企业数据对问题作出答复,以达到构建企业G P T服务的目标7。2.3 微调(F i n e-T u n i n g)利用J S ON L文 件 对 载 企 业 知 识 库 进 行 扩 展,通 过P r o m p t/C o m p l e t i o n对的一问一答的知识汇总,对L LM进行微调训练,使L LM本身就能对企业知识进行答复。在问题匹配度较高时,微调方案可给出较为准确的答案,但需要对企业数据进行P r o m p t/C o m p l e t i o n对整理,工作量较大,对资源和人才的要求极高。因此,仅适合对少量企业数据进行微调。3 企业G P T构造器的设计企业G P T构造器的总体设计思路如图1所示,企业租户管理员作为信息生产者,负责企业G P T的喂养工作;企业业务部门(如销售部、市场部等)作为信息消费者,使用企业G P T服务为客户提供服务。系统基于多租户架构,主要包含企业G P T的喂养和服务两部分。图1 企业G P T构造器的总体设计思路 在企业G P T喂养工作中,租户管理员负责输入企业的官网及其他相关网站,系统通过爬虫技术进行文本采集,并支持上传对应的文档,包括企业文档和行业文档,通过表单识别进行文本采集和结构解析。这些喂养的网页和文档将被分块,目前的规则是以每5 0 0字符开始,后续碰到回车、等分段符即进行分段,组成一个分块;并通过调用L LM的向量化接口,对文档分块进行向量化处理;将向量化后的企业知识存入向量数据库中,其中包含了来源I D、类型、分块向量、原始文本内容等,并进行多租户数据隔离。在向量化地存储企业信息之后,还需要设计企业的5 G消息公众号,配置5 G消息的多运营商消息通道,并设置相关的场景,对5 G消息交互做好合规监管。企业G T P服务指企业业务部门的客户通过5 G消息通道,利用5 G消息的交互能力,在不同的服务场景中访问企业G P TC h a t b o t机器人,体验企业业务的C h a t G P T服务。其提供服务的流程如图2所示。企业的目标客户可通过5 G消息或W e b插件,访问企业G P T,步骤如下。(1)企业客户根据设定的业务场景(预配置交互流程、提示工程),如市场营销、客户服务、办公助手等,访问企业G P T。(2)企业G P T通过构造L LM,对客户问题文本进行向量化。(3)使用向量搜索,在向量数据库中搜索并返回与客户问题向量最相似的T o pK(K可以设置)文本内容,判断的标准为问题向量和喂养分块向量之间的距离(向量之间的欧氏距离或余弦距离)。(4)企业G P T判断T o pK向量同客户问题向量的相似度。(5)将匹配度得分大于N分(N可以配置)的相关设置的P r o m p t、文本内容、当前及会话历史问答,统一送到会话L LM,会话L LM将根据这些信息进行组织推理。(6)组装好的答案和参考文档信息通过5 G消息返回客户端。移动信息2 8 2 2 0 2 4年3期图2 企业G P T通过5 G消息为客户提供服务的流程4 企业G P T构造器的应用场景在构造企业G P T之后,可以通过5 G消息通道或W e b插件为企业的各个部门客户提供服务,场景示例如下。4.1 品牌营销配合5 G消息的主动触达功能,可以向客户发送促销信息。通过企业G P T,能为客户解答促销信息的内容,也可以自动答复企业官网/社媒账号,引导客户直接访问购买,并为客户提供政策咨询服务。4.2 客户服务可以通过5 G消息发送客户物流信息,待客户接收商品之后,再喂养相关商品的产品使用手册。通过企业G P T,客户可以咨询企业人工作息时间,自助了解如何使用商品,自助排除商品故障等。4.3 助手服务在喂养了企业的财务、人事等相关政策文档后,企业员工可以阅读繁琐的各类文档,通过企业G P T,以对话的方式咨询财务系统发票问题、人事政策问题等,提升新员工培训效率,帮助员工获取获得感。助手服务还可以广泛应用于企业业务支撑,如对销售人员的专业知识支持、运维人员的设备知识支持等。5 结语通过将企业G P T升级到A IA g e n t,以5 G消息通道客户的输入作为感官,通过5 G消息富媒体多模态的输入视频(对应人类的视觉)、音频(对应人类听觉)及文本来感知环境。然后,利用L LM的推理和思考能力,基于长期记忆(向量数据库)和短期记忆(5 G消息会话),利用思维树(T r e eo fT h o u g h t)对任务进行分解。另外,通过S e a r c h&L o o k u p工具找到对应的工具,并调用工具(包含A P I调用、S Q L调用、外部A g e n t等)实现对业务系统的结构化数据操作,同时对每一步的调用进行反思和评分,在其评分达到商用标准后,企业G P T构造器即可进化为企业A IA g e n t构造器。参考文献1B R OWNTB,MA N NB,R Y D E RN,e t a l.L a n g u a g em o d e l sa r ef e w-s h o t l e a r n e r sCP r o c e e d i n g so ft h e3 4 t hI n t e r n a t i o n a lC o n f e r e n c eo nN e u r a l I n f o r m a t i o nP r o c e s s i n gS y s t e m s.V a n c o u-v e r,B C,C a n a d a:C u r r a nA s s o c i a t e s I n c.,2 0 2 0:1 8 7 7-1 9 0 1.2中国电信,中国移动,中国联通.5 G消息白皮书E B/O L.h t-t p:f i n a n c e.s i n a.c o m.c n/s t o c k/s t o c k z m t/2 0 2 0-0 4-0 8/d o c-i i r-c u y v h 6 6 3 9 0 3 6.s h t m l.3G S MAPR.7 1R C SU n i v e r s a l P r o f i l eS e r v i c eD e f i n i t i o nD o c-u m e n tE B/O L.h t t p s:w w w.g s m a.c o m/f u t u r e n e t w o r k s/w p-c o n t e n t/u p l o a d s/2 0 1 9/1 0/R C C.7 1-v 2.4.p d f.4A L A N D.T.A C o m p r e h e n s i v eA n a l y s i so fD a t a s e t sU s e dt oT r a i n G P T-1,G P T-2,G P T-3,G P T-N e o X-2 0 B,M e g a t r o n-1 1 B,MT-N L G,a n dG o p h e rE B/O L.h t t p s:l i f e a r c h i t e c t.a i/w h a t s-i n-m y-a i/.5A R UNC,L E I NA RR.H o wt oC h o o s ea nA p p r o a c hf o rD e-p l o y i n gG e n e r a t i v eA IJ.2 0 2 3(7 9 4 5 5 9):3-4.6J o h nI.T h eA r to fA s k i n gC h a t G P Tf o rH i g h-Q u a l i t yA n-s w e r sAC o m p l e t eG u i d e t oP r o m p tE n g i n e e r i n gT e c h n i q u e sM.T h eU n i t e dS t a t e so fAm e r i c a,2 0 2 3:7-1 1.7Z HA N GP T,X I A OS T.R e t r i e v eA n y t h i n gT o A u g m e n tL a r g eL a n g u a g eM o d e l sE B/O L.h t t p s:a r x i v.o r g/p d f/2 3 1 0.0 7 5 5 4.移动信息