通用知识图谱构建与应用.pdf

通用知识图谱构建与应用腾讯-QQ浏览器-知识图谱团队分享人：荆宁DataFunTalk3分享背景在整体介绍知识图谱技术之上，重点分享我们在图谱构建和应用上的一些落地实践经验。以期抛砖引玉，对大家构建和应用图谱有所启发。JDataFunTalk4分享大纲通用图谱构建与应用背景介绍图谱构建存储检索123应用探索4图谱中台5DataFunTalk5背景介绍l 什么是知识图谱？知识图谱是人工智能的底层技术，让机器学会“思考”l 有什么用？2012年由Google提出，是一张由知识点（实体/概念）相互连接而成的语义网络。知识结构化表示点：表示知识点边：表示知识点之间关系知识图谱统计逻辑知识图谱让机器理解世界DataFunTalk6背景介绍-QQ浏览器通用图谱简介资源*亿实体*百个领域类型*十亿知识三元组聚合实体信息高效满足用户的搜索需求根据普适问答需求，直接给出权威的确定答案通用知识图谱实体卡片实体问答智能音箱图文标签其他应用阅文小说腾讯音乐腾讯视频搜狗百科应用数据覆盖BG：*个BG使用部门：*个应用业务：*个API日调用：*亿覆盖*百个数据源，百科、豆瓣、时光网等主要垂类站点整合腾讯优势内容DataFunTalk7背景介绍-QQ浏览器通用图谱简介融合管理清洗管理schema管理数据看板人工干预内容理解腾讯叮当精准问答实体卡片服务层应用层实体链接知识表示算子服务实体检索存储层正排库图数据库索引库图引擎计算层清洗对齐实体对齐实体分类属性抽取推理计算关系挖掘新热发现概念抽取运营平台数据层垂类站点CP合作数据百科站点内部FT数据数据接入数据爬取系统概览规则管理数据评估DataFunTalk8分享大纲通用图谱构建与应用背景介绍图谱构建存储检索123应用探索4图谱中台5DataFunTalk9整体思路整合百科+垂类站点+腾讯优势内容，使用自动化构建方式从上到下构建开放领域通用知识图谱！应用场景多：搜索、推荐、内容理解、智能音箱 领域覆盖全：影视、人物、小说、游戏、软件等 质量要求高：TOP1问答、搜索卡片 规模和成本：快速构建、低成本、大规模规模成本质量领域多实体全数据准服务稳人力省更新快从上到下 vs 从下到上构建思路开放领域 vs 垂直领域建设类型百科站点 vs 垂类站点数据来源人工构建 vs 自动构建构建方式DataFunTalk10构建系统-构建流程异构数据同构数据规整数据消岐数据实体属性(点)Schema对齐百科：1961年9月27日出生香港时光网：1961-9-27 中国香港刘德华出生日期:1961年9月27日出生地:香港来源:百科出生日期:1961-9-27出生地:中国香港来源:时光网出生日期:1961年9月27日出生地:香港来源:百科出生日期:1961年9月27日出生地:香港来源:时光网刘德华(明星)百科:刘德华刘德华(老师)时光网:刘德华百科:刘德华(清华大学教授)刘德华出生日期朱丽倩妻子作品冰雨1961年9月27日出生地香港属性择优实体对齐数据清洗获取数据爬取接入百科：1961年9月27日出生香港时光网：1961-9-27 中国香港刘德华实体数据(点+边)刘德华出生日期朱丽倩妻子作品冰雨1961年9月27日出生地香港关系建设DataFunTalk11构建系统-系统设计配置平台构建流程算法组件构建流程算法可插拔知识抽取V1知识抽取V2周期构建不定期迭代算法MDB交互控制信息Hive交互数据来源管理Schema管理清洗映射推理规则知识抽取实体分类实体消歧实体建边接入解析分类对齐数据清洗实体对齐属性融合关系建设校验出库处理框架高性能流批一体容错性好中间存储高吞吐成本低格式化数据检索高性能易扩展全文索引分层设计，功能模块化水平扩展，通用化算法可插拔，升级透明低成本易维护DataFunTalk12构建系统-系统特色实时数据实时构建亿级实体万级实体百级实体秒级时延小时级时延天级时延实时数据部分数据快速构建部分实体全量数据离线构建全量实体数据合并一致性保证存储层构建层人工干预流实时流Web爬虫海量数据接入层接入方式丰富支持Hive、DB、Kafka等多维异构数据源构建粒度灵活支持不同量级数据按不同方式分别进行构建构建效率迅捷支持小时级的快速构建与实时构建数据一致可靠多种构建方式的输出，依然保证一致且准确DataFunTalk13知识获取结构化数据获取知识难点：复杂表数据处理技术：数据统一接入半结构化（网站）数据获取知识难点：网站众多、数据各异技术：爬虫、解析器/包装器非结构化（文本）数据获取知识难点：结果的准确率和覆盖率技术：知识抽取从不同来源、不同结构的数据中进行知识提取，形成知识存入到知识库DataFunTalk14知识获取-数据接入统一数据接入接口、服务-DBHive、HDFS表同步Ceph、S3关键：灵活可扩展解法：通过配置指定来源、存储和解析规则统一爬取系统网页数据结构化、半结构化数据关键：爬取管理、解析灵活解法：爬取平台、JS注入HIVE接入表数据合并和格式统一id+json_dataId包含来源+类型信息Json_data，以KV方式统一存储rid:domain:data_type:url:timestamp:name:data:00003006f246f219fe70000300http:/ Transformer(BERT)h(s)h(o)FC LayerSoftmax模型V1：BERT-entity-RC-BERT增强语义-实体mention特征准确率召回率91.94%54.88%clss:p陈宛/s:p，o:p秦放/o:p的初恋 sepDeep Transformer(BERT)ht(s)ht(o)FC LayerSoftmax模型V2：BERT-entityType-RC+实体类型特征准确率召回率94.56%，+2.6%55.25%，+0.37%clss:p陈宛/s:p，o:p秦放/o:p的k初恋/k sepTransformer Layer L-1Transformer Layer LKeyword-masked self-attentionht(s)ht(o)hk(s)hk(o)FC LayerSoftmax模型V3：KeywordBERT-entityType-RC-引入关键词特征-显示建模SO与关键词间的交互准确率召回率95.87%，+1.31%55.96%，+0.71%DataFunTalk19知识融合基本信息亲友关系表演相关生日演唱歌曲国籍性别妻子出生地女儿好友搭档饰演角色导演作品表演作品谢谢你的爱爱你一万年冰雨刘德华中国1961.9.27男香港刘向蕙朱丽倩金城武古天乐郭富城追龙阿虎Love Under the Sun长城解救吾先生举例：给“刘德华”建设个图谱 信息不够丰富？数据质量问题？信息补充 交叉纠错多源知识融合DataFunTalk20知识融合-实体分类子模型 规则，解决快速结构化分类 模型，解决召回扩大问题 层级&多分类，解决分体体系多级分类,体系复杂（2/3/4层）领域类型多（460+）人物、影视、歌手、小说、软件层次化且层级不固定，人物-娱乐人物-歌手实体需要多分类标签覆盖实体分类部分时重叠的，如歌手&影星规则分类分类映射规则场景：结构化数据、清晰垂类方法：属性K和V按分类词表映射优缺点：准确率高,召回低,成本高模型分类层次化分类(主分类+辅分类)子模型：多分类器(TextCNN）特征：简介、关键kv对、实体属性优缺点：分类模型同构，易扩展性能：每天例行分类耗时99.5%,召回80%层次化分层框架DataFunTalk21知识融合-清洗对齐异构、杂乱的数据同构、干净规整的数据目标解决方案去杂质、归一化数据清洗清洗规则同构规范资源数据分类到各领域实体分类映射到领域属性Schema对齐Schema库映射规则分类规则KVJson数据Schema对齐将原始属性Key进行统一基于对齐规则（属性映射对）规则通过数据统计、聚类获得数据清洗将属性Value进行规整去杂质基于清洗规则（匹配替换对）规则通过数据统计、归纳获得实体分类将文本分类到Schema类型体系基于分类规则+分类模型规则通过数据统计、归纳获得DataFunTalk22知识融合-实体消歧来源广、类型多？200+来源，460+类型，对齐成本高数据质量不一？属性丰富、低质实体混杂，对齐难度大资源多，计算量大？全量结构化实体3.9亿，每天增加新增40W通用、适配广泛支持各种类型、各种来源实体对齐鲁棒、灵活的消歧多层级、多维度实体消歧，外包化配置高性能的计算生效增量、全量消歧，版本控制，大数据计算注：重复率与实体比较的召回率线性相关，业务上更关注重复率指标性能：每天例行消歧耗时95%，重复率 新的事实新建关联：eg 推断校友新增事实：eg 推断性别基于Drools框架（Rete）实现先验知识计算领域词表，eg：国家、星座等对图谱中N-1的谓词效果显著自动挖掘词表+人工验证DataFunTalk27知识关联-建边模型MatchFeatureTypeFeatureSPOBertFeatureKGEmbeddingFeatureSubjectPropertyObjectObject-dataSubject-dataKGSPO-BertSPO共现S-data共现O-data共现特征交叉SPEntitySPOXGBoost/GBRank效果：PRF1常规特征0.9260.6540.76+type0.9500.6810.79+SPO-Bert0.9510.7020.81+KG-Emb0.9480.7260.82+统计特征0.9520.7320.83我们方案：1.多通道特征融合+两阶段模型2.引入NIL判定：两阶段模型，引入统计特征，更偏重全局信息性能：消每天例行关联耗时97%，建边率85%建边系统整体指标DataFunTalk28分享大纲通用图谱构建与应用背景介绍图谱构建存储检索123应用探索4图谱中台5DataFunTalk29存储检索-系统设计 半数市场份额 高性能访问 非结构化存储 活跃的社区 自动伸缩、迁移？负载不均衡，跨地访问耗时 读写毛刺？（大实体/长链路）Docker封装Neo4j读、写分离隔离I/O热点缓存多级缓存命中率98%+，耗时降低30倍上层封装节点状态在线访问延时：90%召回率69%DataFunTalk43分享大纲通用图谱构建与应用背景介绍图谱构建存储检索123应用探索4图谱中台5DataFunTalk44图谱中台-中台简介l PCG图谱中台框架l 接入业务l 已开放能力图引擎图谱库爬取平台接入平台腾讯资源公有数据合作数据图谱构建清洗对齐知识融合建边推理知识抽取开放平台图谱能力统一接入私有数据数据采集 累计服务公司6大BG，15+部门，80+业务团队使用 覆盖产品：QQ浏览器、QQ看点、腾讯新闻、腾讯视频、微视、云小微、微信搜一搜、广点通、腾讯游戏、应用宝、手机管家等实体检索推理计算实体抽样批量导出图谱问答实体链接概念抽取属性抽取关系抽取实体识别图存储实体消歧DataFunTalk45图谱中台-系统升级数据接入按来源分库（业务库）按领域分库（垂类库）按热度分库（核心库）配置化1.按任意维度分库构建能力2.垂类图谱快速生成能力构建流核心实体普通实体垂类实体数据分发核心库通用库垂类库小时级天级数据合并周级是否合并如何合并分库存储/检索通用能力：相互解耦：高效复用：构建数据解耦计算任务解耦调度周期解耦存储介质解耦构建逻辑复用存储方案复用检索引擎复用多样化的图谱需求如何满足？DataFunTalk46图谱中台-高可用n 存储n 服务n 流程n 数据离线：hive存储，分区备份在线：多地部署，按日备份多地部署，平滑扩容后端失效：数据缓存+异步成功更新透明化监控模块化拆解+流程重试数据抖动校验+熔断机制数据漏斗+核心数据监控复杂流程众多业务海量数据多维度灾备、校验系统深圳上海图谱在线服务/存储部署天津缓存图引擎查询服务1432熔断机制：抖动超过阈值（上个周期比）自动出库流程中断延时：10ms可用率：4个9具有容灾能力数据“0”丢失保证业务访问稳定性,0投诉DataFunTalk47图谱中台-监控体系 流程透明化 数据漏斗 数据变化统计 核心数据监控DataFunTalk48总结和展望知识图谱是一个复杂的系统工程，需要投入大量的人力、资源、成本！l 未来工作贴近业务，按需设计建设工业化图谱是一个难度很大的工作，覆盖NLP、数据库、大数据、研发等相关技术和工作复用开源系统、数据，不设边界、多工种配合l 一点心得l 分享总结介绍了我们在通用图谱构建过程中在构建系统、构建算法两个方面的实践经验介绍了我们在大规模图谱存储和检索的一些工作分享了我们在图谱应用方面的一些探索，包括一些新型图谱分享了我们在图谱中台方面的一些工作和成绩开放知识抽取、通用实体消歧和关联等构建技术上继续深耕在实时构建、高效检索等系统方面继续探索探索多模态图谱、需求图谱等新型图谱和相关应用技术Thanks