电商领域多模态商品知识图谱构建研究.pdf

现代电子技术Modern Electronics TechniqueOct.2023Vol.46 No.202023年10月15日第46卷第20期0 引 言随着互联网和信息技术的迭代升级，中国电子商务飞速崛起。中国互联网络信息中心发布的第 50次 中国互联网络发展报告（2022）显示，截至2022年6月，我国网民规模为 10.51亿人，互联网普及率达到 74.4%，其中网络购物用户达到 8.4 亿，占总体网民1的 79.92%。中国电商务报告（2021）显示，2021 年全国电子商务交易额达到了 42.3万亿，同比增长 19.6%。随着消费者对商品多样化需求的不断提高，电子商务平台为了提高商品销量，不断增加商品的多样性来满足消费者需求。但随之而来也产生了大量的数据信息，在面对海量的信息时，电子商务平台和消费者都面临着巨大的信息过载问题2。要想实现电子商务平台将商品精准地推荐给用户，用户能够快速在平台搜索并购买到自己想要的产品，推荐系统的建设是核心，目前推荐系统存在数据稀疏性和冷启动的问题3。学术界和工业界关于如何解决数据稀疏性和冷启DOI：10.16652/j.issn.1004373x.2023.20.032引用格式：宿恺，潘晨辉.电商领域多模态商品知识图谱构建研究J.现代电子技术，2023，46（20）：173177.电商领域多模态商品知识图谱构建研究宿 恺，潘晨辉（沈阳工业大学 管理学院，辽宁 沈阳 110003）摘 要：在电子商务蓬勃发展的背景下，电子商务平台的推荐系统面临着冷启动和数据稀疏性的问题。而构建多模态知识图谱可以为电子商务平台实际应用提供重要的支撑。为此，首先指出当前电子商务中推荐系统的难点和传统知识图谱模态缺失的情况，设计多模态知识图谱构建的总体框架，分析多模态数据来源；然后，论述电商领域多模态商品知识图谱构建过程中的核心技术；最后，举例说明多模态商品知识图谱在电子商务平台中的实际应用。结果表明，多模态商品知识图谱可为电子商务的发展提供支持，未来多模态商品知识图谱的发展需要以实际应用为导向和多领域融合为方法，推动多模态商品知识图谱的优化发展。关键词：电子商务；多模态数据；知识图谱构建；信息抽取；知识表示；知识融合；图谱存储中图分类号：TN91934；TP311 文献标识码：A 文章编号：1004373X（2023）20017305Research on construction of multimodal commodity knowledge graph in ecommerce domainSU Kai,PAN Chenhui(School of Management,Shenyang University of Technology,Shenyang 110003,China)Abstract：In the backdrop of the booming development of ecommerce,recommendation systems on ecommerce platforms face challenges of cold start and data sparsity.Building a multimodal knowledge graph can provide important support for the practical application of ecommerce platforms.The difficulties of current recommendation systems in ecommerce and the lack of traditional knowledge graph modes are pointed out,the overall framework is designed for constructing multimodal knowledge graphs,and the sources of multimodal data is analyzed.The core technologies in the construction process of multimodal commodity knowledge graph in the ecommerce field are discussed,and examples of the multimodal product knowledge graph in ecommerce platforms are given to show the practical application.The results indicate that the multimodal commodity knowledge graph can provide support for the development of e commerce.In the future,the development of multimodal commodity knowledge graph needs to be guided by practical applications and integrated into multiple fields to promote the optimization and development of multimodal commodity knowledge graph.Keywords：ecommerce;multimodal data;knowledge graph construction;information extraction;knowledge representation;knowledge fusion;graph storage收稿日期：20230407 修回日期：20230515基金项目：辽宁省科技厅重点研发项目（2019JH8/10100068）173173现代电子技术2023年第46卷动 问 题，提 出 了 推 荐 系 统 和 知 识 图 谱（Knowledge Graph,KG）结合的方法。2012年，Google公司提出知识图谱的概念，知识图谱在本质上是语义网络，基于关系型数据的连接方式，具备依赖关系路径与属性标签的推理的优点4。近年来，学界提出了多模态知识图谱（MulitModal Knowledge Graphs,MMKG）的概念，它以文本、图片、视频以及音频等多种模态数据为元素，是具有跨模态、类属关系、有向、非交叉的关联路径网络，本质上是一种语义网络形式的关系型数据连接方式5。多模态知识图谱通过将不同模态的信息添加到知识图谱中，能够提供丰富的特征和信息，将其应用于推荐系统可以有效缓解数据稀疏和冷启动的问题，从而使推荐结果更准确，并提供可解释性支撑6。由上述背景可知，构建多模态商品知识图谱对解决当下电子商务平台的实际问题具有重要意义。目前的研究主要是关于结构化数据知识图谱的构建，对如何构建多模态知识图谱的研究较少。本文重点研究电商领域中多模态知识图谱的构建方法，主要是基于前人研究构建知识图谱，围绕多模态知识图谱的结构特性分析电商领域中多模态数据和组成要素，给出多模态商品知识图谱构建方法的流程和应用方向。1 多模态商品知识图谱构建1.1 多模态知识图谱构建框架电商领域产生的数据主要有文本、图片、视频等数据类型，在实践中，一般将视频数据经过处理逐帧抽取为图像，视频数据和图像数据统称为视觉数据。因此，电商领域的多模态知识图谱主要围绕文本数据和视觉数据两种模态数据进行构建研究7。本文的研究框架包括：电商多模态数据的来源，对搜集的数据进行信息抽取，对抽取的数据进行知识表示和知识融合，最后进行多模态知识图谱存储，对多模态知识图谱的质量提供保障并进行优化。电商领域多模态知识图谱构建的技术架构和多模态知识图谱在各领域的应用举例如图 1所示。1.2 多模态知识图谱的数据来源在电商领域构建多模态商品知识图谱主要是用于商品的搜索和推荐，需要将各种数据源中不同类型的数据进行统一表示。从数据结构来看，既有结构化数据，又有半结构化数据和非结构化数据；从数据的来源上看，除了电商平台的后台数据外，还有搜索引擎、社交平台以及专业商品网站的商品数据；从数据表现形式上看，既有文本和图片数据，又包括音频和视频数据。这些数据共同构成了多模态商品知识图谱的数据来源8。图1 多模态知识图谱构建技术架构2 多模态信息抽取多模态信息抽取是构建多模态知识图谱的重要环节，主要目标是通过在多模态数据中抽取实体、关系、属性等，构成多模态知识图谱的要素。本文研究关于多模态信息抽取的方式，主要从文本模态数据以及视觉模态数据两方面进行信息抽取。2.1 文本模态信息抽取目前关于文本模态信息抽取的主流方法是机器学习与深度学习相结合。其中文本实体抽取采取 LSTMCRF 模 型，LSTM CRF 模 型 分 为 三 层，分 别 是 Word Embedding 层、BiLSTM 层和 CRF 层。Word Embedding层是向量表示层，通过预训练或随机初始化生成句子中每个词的向量表示9。BiLSTM层可以提取和利用词的上席文信息，是字符级别的特征。在接收上一层生成的向量后，BiLSTM 模型将正向 LSTM 生成的向量和反向LSTM生成的向量进行拼接，得到每个词的向量形式，并将结果输出。CRF层为输出层，对从BiLSTM层提取的特征及标签信息进行建模，并对句子中的实体做序列标注。LSTMCRF模型如图2所示。图2 LSTMCRF模型174第20期关系抽取用于发现抽取的实体与实体之间的关系，比如（羽绒服、适用、冬季）等。基于监督学习的关系抽取方法经过几十年的发展，在实际应用中已经非常成熟。但是基于监督学习的方法存在着明显的缺点，比如：特征构建难度较大，监督学习的效果受训练数据大小和质量影响。因此，本文采取半监督学习方法10，引入注意力机制学习每个句子的权重，减少训练数据的噪声，提升学习效果。每个句子编码的权重定义为：ai=exp()eikexp()ek （1）ei=xiAr （2）式中：e函数体现了该句子对于该关系的贴切程度；x是该句的向量；A是一个作为权重的对角阵；r是该关系的向量。从公式（1）可以看出，与该实体关系更加密切时，e函数可以取得更大值。注意力机制关系定义为：s=iaii （3）最后对向量s进行学习分类，用交叉熵函数和随机梯度下降及逆行优化。实验证明，基于注意力机制的远程监督关系抽取方法能够通过提高模型的抗噪能力来提取关系，其模型结构如图3所示。属性补全也是信息抽取的重要工作，主要是对抽取的实体属性进行补全，比如实体乌龙茶，具有无糖的属性。属性补全一般采用抽取式和生成式两种方式。基于抽取式的属性补全获取商家在后台发布商品标题等商品信息后，可以通过神经网络模型建模表示，并基于序列标注进行属性获取11，比如三得利茉莉乌龙茶无糖饮料，抽取的属性就是无糖。基于生成式属性补全不需要完全依据输入的文本，可以直接根据训练数据中的模型进行预测，实现属性的获取。图3 基于注意力机制的远程监督降噪处理模型结构2.2 视觉模态数据信息抽取视觉模态数据信息抽取是知识图谱目前研究的热门工作，大量的商品详情图可以作为多模态商品知识图谱的视觉数据。其中，商品图片中的文本信息可以利用OCR 工具识别出来，通过和上述文本模态信息抽取相同的方式，进行图片中的实体抽取、关系抽取和属性补全。视觉数据信息抽取的方式比较多，本文使用 ViT（Vision Transformer）进行图片分类预训练12，通过将输入的图片分为多个 Patch，得到一个 66 的图像向量表示，将其输入到 ViT模型中。图 4中构建了一个双流图文匹配模型，并用某款苹果的产品主图为例，文本流使用 OCR 工具将图片上的文字内容识别出来，再对文本进行信息抽取；图片流部分用 ViT 进行图片编码，将输入图片分为 66的 Patch，再将每个 Patch投影为固定长度的向量送入 Transformer，通过 Mask 图片特征并加入一个特殊的 token对图片的类别做出预测13。为提高图文交互能力，在文本流和图片流最后一层还可以进行预训练任务，对图片信息数据进行高效准确的抽取。图4 视觉模态抽取模型结构3 多模态知识表示在信息抽取后为方便处理，需要对抽取的多模态数据进行知识表示。目前主要有基于特征多模态知识表示方法和基于实体的多模态知识表示方法两种。结合电商领域应用实际，本文研究采用基于实体的多模态知宿 恺，等：电商领域多模态商品知识图谱构建研究175现代电子技术2023年第46卷识表示方法14。基于实体的多模态知识表示方法（Entitybased Multimodal Representation Learning,EMRL）是一种基于深度学习的技术方法，它可以将电商领域中的文本模态、视觉模态以及其他多模态中抽取的信息转换为更容易处理的知识表示形式。EMRL的实现步骤主要为：1）构建深度神经网络，提取多模态信息的特征。2）利用学习算法对提取的特征进行聚类，以获得更精确的知识表示。3）将聚类后的结果映射到构建的知识图谱中，以便更好地构建多模态知识图谱。基于实体的多模态知识表示方法是一种能够有效提取文本、视觉以及其他模态的信息特征，并将其转换为知识表示形式的有效算法。EMRL 的实现步骤涉及深度神经网络构建、学习算法聚类、知识图谱映射等，是电商领域多模态商品知识图谱构建的重要环节。4 多模态知识融合多模态知识融合是更高层次的知识组织，将不同来源获取的数据在统一规范下进行不同格式数据的整合、加工和更新，使大量的知识得以融合，形成高质量的知识库。在电子商务领域的多模态商品知识图谱构建中，多模态知识融合目前主要有异构、歧义、数据噪声和跨语言等难点15。在多模态知识融合过程中，实体对齐与信息融合是最重要的两个环节。实体对齐是指识别多个模态中描述同一实体的不同表示，并将它们映射到同一个实体上。实体对齐是多模态知识融合的第一步，目的是确保多个模态中的信息是相关的，并且在之后的信息融合过程中不会产生冲突。实体对齐主要分为分组和聚类两个步骤，本文采用基于表示学习的实体对齐。基于表示学习的实体对齐是一种有效的多模态知识融合技术，将来自不同模态中的实体进行匹配和对齐16，把实体从不同模态间转换为相似的表示，使得实体之间的关系能够在不同模态之间进行转换，通过学习实体表示向量，捕捉实体间的相似性，进而识别出相同的实体。本文运用基于实体属性信息的方法，首先基于实体的各类属性对实体进行表示学习，再计算两个实体的相似度，主要分为三层结构，如图 5所示。属性表示层将属性通过表示学习成向量；中间层是实体表示层，将实体上的各个属性的向量进行聚合、拼接或加权计算，得到实体向量；最后一层为属性聚合层，将中间层的实体向量输入分类或聚类模型进行实体对齐。这种方法的优势在于可以适应不同的知识图谱来源，可以识别出在不同知识库中的相同实体。图5 基于属性信息的实体对齐网络图信息融合是将多源知识图谱中有冲突的信息进行整合，得到已合并实体准确的取值，形成一个高质量的知识库17。目前信息融合主要有噪声数据和异构问题两个难点。无监督的信息融合方法是目前常用的信息融合方法，是一种基于算法的、不需要人工干预的信息融合技术。该方法的主要思想是：利用大量的原始数据进行训练，并通过特征选择、特征提取、特征表示等技术对数据进行预处理；然后使用聚类算法对数据进行分组，最终形成多个聚类，每一组聚类内的数据具有相似的特征。在电商领域中，无监督的信息融合方法可以用来解决商品数据冲突和缺失等问题。5 多模态知识图谱存储与质量保障5.1 多模态知识图谱的存储在多模态知识图谱存储中，常见的存储方式是基于属性图的数据模型。在多模态商品知识图谱中，每个商品都可以表示为一个节点，每个节点具有多个属性，如商品 ID、名称、价格等。同时，每个节点之间可以通过不同的边表示它们之间的关系，如同品牌、同类目、同材质等。因此，基于属性图的数据模型能够更加便利地支持多模态知识图谱存储和查询。基于属性图的数据模型可以使用图数据库进行存储，常见的图数据库包括Neo4j、JanusGraph、TinkerPop 等18。这些图数据库都具有良好的性能和可扩展性，能够支持海量数据的存储和查询，同时还支持多种查询语言和 API接口。例如，使用 Cypher 查询语言可以方便地查询商品的属性和关系，如下所示：MATCH（n：Productname：手机）RETURN n /查询商品名称为“手机”的商品MATCH（n：Product）WHERE n.price 1 000 RETURN n /查询价格低于1 000元的商品基于属性图的数据模型和图数据库的存储方式能够有效地支持多模态知识图谱的存储和查询，同时还具176第20期有良好的可扩展性和灵活性，因此在电商领域的多模态知识图谱中得到了广泛的应用。5.2 多模态知识图谱的质量保障图谱质量评估是指在多模态商品知识图谱构建完成后，通过一定的评估方法和指标对图谱的质量进行评估和分析。常见的评估指标包括图谱完整性、一致性、准确性等10。具体来说，完整性指图谱中实体和关系是否覆盖了电商平台中的所有商品信息；一致性指图谱中实体和关系之间是否具有良好的逻辑关系；准确性指图谱中实体和关系是否与现实世界的事实相符合。多模态知识图谱的自动化更新也是图谱质量保障的重要手段之一。自动化更新可以根据电商平台的商品信息变化和用户反馈等，自动地更新图谱中的实体和关系信息。6 结 语本文创新性地提出在电商领域中进行多模态商品知识图谱的构建研究。多模态知识图谱的构建需要考虑多个方面，主要包括：多模态信息抽取、多模态数据知识表示和多模态知识融合，以及多模态知识图谱存储和质量保障。在多模态信息抽取方面，需要使用自然语言处理和计算机视觉等技术从商品的文本、图像等多个模态中提取关键信息。在多模态数据知识表示方面，需要将不同模态的数据转换为统一的知识表示形式，以便进行知识融合和应用。在多模态知识融合方面，需要考虑如何将不同模态的知识进行融合，以便构建全面而准确的多模态商品知识图谱；然后再选择合适的多模态商品知识图谱存储方式，并保障多模态商品知识图谱的质量。未来将继续进行多模态知识图谱的研究，侧重于多模态知识图谱在电商领域中的应用。注：本文通讯作者为潘晨辉。参考文献1 中国互联网协会.中国互联网发展报告（2022）R.北京：电子工业出版社，2022.2 赵晔辉.知识图谱推荐系统研究综述J.计算机科学与探索，2023，17（4）：771791.3 曹珂崯，张天舒，孙娟，等.基于社区结构的推荐系统中冷启动问题研究J.现代信息科技，2023，7（1）：3032.4 SINGHAL A.Introducing the knowledge graph:things,not strings EB/OL.20220514.https:/googleblog.blogs 陈烨，周刚，卢记仓.多模态知识图谱构建与应用研究综述J.计算机应用研究，2021，38（12）：35353543.6 孙睿.基于多模态知识图谱的推荐系统D.成都：电子科技大学，2021.7 WANG Meng,WANG Haofen,QI Guilin,et al.Richpedia:a comprehensive multimodal knowledge graph C/Proceeding of Joint International Semantic Technology Conference.Cham:Springer,2019:130145.8 FERRADA S,BUSTOS B,HOGAN A.IMGpedia:a linked dataset withcontent based analysis of Wikimedia images C/Proceeding of International Semantic Web Conference.Cham:Springer,2017:8493.9 LIU Y,LI H,GARCIADURAN A,et al.MMKG:multimodal knowledge graphs C/European Semantic Web Conference.Cham:Springer,2019:459474.10 XU G H,CHEN H H,LI F L,et al.AliMe MKG:a multimodal knowledge graph for livestreaming Ecommerce C/Proceedings of the 30th ACM International Conference on Information&Knowledge Management.Queensland:ACM,2021:48084812.11 张伟.工业级知识图谱方法与实践M.北京：电子工业出版社，2021：8.12 LI F,ZHAO Z,LU Q,et al.AliMe Avatar:multi modal content production and presentation for live streaming e commerce C/SIGIR21:The 44th International ACM SIGIR Conference on Research and Development in Information Retrieval.Canada:ACM,2021:26352636.13 HUANG Z,ZENG Z,LIU B,et al.Pixel BERT:Aligning image pixels with text by deep multimodal transformers EB/OL.20220117.https:/arxiv.org/abs/2004.00849.14 CHEN Liyi,LI Zhi,WANG Yijun,et al.MMEA:entity alignment formultimodal knowledge graph C/Proceeding of International Conferenceon Knowledge Science,Engineering and Management.Cham:Springer,2020:134147.15 邵浩.从零构建知识图谱：技术、方法与案例M.北京：机械工业出版社，2021：8.16 WANG Zikang,LI Linjing,LI Qiudan,et al.Multimodal data enhanced representation learning for knowledge graph C/Proceeding of International Joint Conference on Neural Networks.Piscataway,NJ:IEEE,2019:18.17 刘知远，孙茂松，林衍凯，等.知识表示学习研究进展J.计算机研究与发展，2016，53（2）：247261.18 王鑫，邹磊，王朝坤，等.知识图谱数据管理研究综述J.软件学报，2019，30（7）：21392174.作者简介：宿 恺（1972），男，山西忻州人，硕士，教授，研究方向为云物流、电子商务和信息管理。潘晨辉（1996），男，河南开封人，硕士，研究方向为知识图谱和推荐系统。宿 恺，等：电商领域多模态商品知识图谱构建研究177