纵横破局 数智驱动——中国银行“三横两纵一线”企业级数据平台建设实践.pdf

封面专题CoverStory纵横破局数智驱动中国银行“三横两纵一线”企业级数据平台建设实践文中国银行软件中心（合肥）副总经理王继武必须加速行业数字化转型，从而促进数字价值变现、赋能业务发展，推动社会面的全面数字化转型。在这一目标导向下，如何对数据进行治理，从而充分挖掘数据资产，使其发挥最大价值，是商业银行在数字经济背景下掌握数据核心资产的关键，强化数据治理、推进数据智能已然成为商业银行实现数字化转型的重要抓手。金融同业在数据领域长期普遍存在数据标准不统一、数据采集链路不完整、数据治理基础较为薄弱等问题，数据“不准、不通、不全”等行业性典型痛点和难点问题突出，且治理、使用难度大。为构筑“统王继武中国银行软件中心（合肥）副总经理，长期从事核心银行相关系统研发，牵头建设中国银行企业级大数据平台、人工智能平台等，相关项目获人民银行科技进步奖特等奖、科技发展奖一等奖，主持研发的“中银智管”等重点产品荣获国际知名财经杂志财资AAA金融科技奖等，在金融科技创新及数字化转型领域具有丰富经验。家基础性战略资源的作用日益凸显，其作为一种新型的生产要素，贯穿各个行业的生产经营活动，成为推动国家经济高质量发展的新动力、新资源。发挥数据的价值已成为数字经济背景下的一种常态。银行业作为典型的数据驱动型行业，面、敏捷、精细的能力支撑。“两纵”分别指的是一本全集团统一的数据字典，提供企业级数据字典管理服务；一套标准质量全流程管控机制，把控数据领域从需求提出、设计开发到投产及数据分析应用的全生命周期。“一线”指明确一条数据红线，全面推行数据认责，业务制度与管理制度并重，严肃数据纪律，塑造数据文化。在“三横两纵一线”数据治理体系指导下，我行归纳出以“采、存、算、用、管”五位一体的系统产品建设方向整体架构如图所示，产品可分为数据字典、数据协同、数据层、分析层和展现层五大模块，完整一数据、统一架构、统一生态”的集团数覆盖了数据流转过程中的采集、存储、计据治理体系，中国银行自2 0 19年起开始“三算、使用及管理等各个阶段。横两纵一线”企业级数据平台项目建设。数据层的主要作用是对数据进行汇聚、整合、复用和共享，包括数据湖、数谋篇布局，打造企业级数据治理据仓库；分析层主要是对数据层的数据在体系AI能力的支持下加以探索、挖掘、利用，“三横两纵一线”数据治理体系是中包括分析工作台及各业务领域应用；展现国银行在数据资产领域改革的全球化、综层提供统一的数据界面，向移动端和网页合化、企业级、一体化解决方案，在组织端提供数据分析、使用、汇总、加工的结果；建设、平台能力、技术运用方面均有其先字典平台主要是负责管理我行各类数据资进性。实现了中国银行在数据资产领域顶产的规范和定义，同时负责数据质量标准、层设计与系统架构、业务效益与技术实现质量管理和安全管理；协同平台主要负责的并驾齐驱、融合创新。数据资产全生命周期的过程管理，日常的对于中国银行的“三横两纵一线”数数据使用、定义、变更、生成等等环节都据治理体系，“三横”指的是建设“数据+由协同平台来提供流转服务分析+展现”三层架构体系，为数字资产总之，数据纵横平台是一个统一规的数据共享、分析挖掘和服务展现提供全范的数据标准平台、稳定高效的数据存14Cover Story封面专题储平台、灵活多态的数据挖掘平台、丰富友好的展示平台、流畅便捷的流程管理平台。纵横破局，破解金融业数据领域难题随着大数据技术金融业务的快速发展，当前金融业在数据资产领域所面临的问题和难题，已经不再单纯是一项技术栈的引入、一个系统数据质量的提升、一个数据分析集市的整改，而是贯彻企业级数据战略、融合全集团数据资产、推进AI与数据结合的全方位自主可控的企业级能力，中国银行三横两纵一线数据治理项目产品各模块各有特点，各有侧重，全方位给出了金融业数据资产领域建设过程中各类问题的解决方案。1.贯彻集团数据战略，彻底解决数据管理中职责不明、标准不清、流程不通的问题（1）营造权责一体的数据文化。做好集团数据治理系统管理的首要工作就是管好职责，建立数据确权、认责制度，形成权责一致的企业数据文化。中国银行通过数据确权、安全展现、协同应用、合规共享和可控融通，建立起了以数据认责为基础的数据管理机制。数据认责其实是将数据“责任”“权利”合为一体的管理机制，其中最基础的是数据确权问题，数据确权解决了数据资产管理的职责不清、管理不严、推扯皮等问题。从而培育了良好数据文化，促进各项工作方法和机制形成良性循环。在此基础上中国银行加强制度建设，全行数据治理的职责分工更加明确，协同工作机制日臻完善。（2）构建“集团一本字典”贯彻集团数据标准。做好集团数据治理工作就是要做好数据的管理，这一过程中我们建立了以企业级数据字典为核心的数据标准，实现集团内同一名词、同一内涵，同一数据项、同一标准。在项目建设过程中，数据字典的内容及工具建设是贯穿全局的关键所在。集团一本字典构建的数据标准红线是指导中国银行建立全行数字资产目录、开展数据认责、需求管理、质量管理安全管理的关键，将管理规范落至实处、将数据资产形成目录、将数据标准贯彻执行，从根本上杜绝数据资产的混乱。在这一过程中我们全面盘点、清理、规范中行OLTP、O LA P全系统18 3万个数据项梳理，最终形成16 万个的数据字典项，形成一套以模型为标准的数据资产管理办法，规范了全行业务用语，明确了技术开发的数据标准。（3）支持高效协同的数据协同平台。在数据需求、数据定义、数据生成、数据展现层数据协同流程管理流程应用管理接口网关任务中心系统管理流程引擎内容管理表单引擎流程建模工具自研技术底座展现终端统数据门户管理驾驶舱固定报表运营管理数据服务能力数据探索能力分析层1+N业务领领域域加工加工机制离线数基础主题层汇总共享园据仓库数据层汇聚整合复用共享内部数据鸿鸽平台（分布式架构应用全栈解决方案）PC端数据集服务沙箱态开发态数据探索数据探查数据脱敏数据建模数据地图风险管理领域公共领域加工数据资产注册数据订阅实时数贴源层明细凰汇总屋维度屋据仓库MPP:Gcluster+GNode+Gccli数据湖贴源数据层TBDS:HDFS+HIVE+Spark+HBASE+OBS移动端移动端服务DataApi服务灰度态在线验证离线预测BI能力监管合规领域基础主题层数据总线-接入服务外部数据星汉平台（大数据应用全工艺流程一体化解决方案）大屏产品目录搜索能力报表文件服务生产态模型仓库批量预测报表共享模型部署API能力多态管理渠道运营领域客户营销领域公共领域加工分级管控服务封装TBDS:Kafka+Flink+Hbase+Redis汇总共享层数据字典数据地图元模型管理统一接口服务数据标准服务数据质量服务数据安全服务系统管理服务元数据采集服务指标口径配置应用数据层个人工作台图逻辑架构图15封面专题CoverStory变更等过程中，我们发现各个环节均需要有多角色的开发和测试人员参与，同时我们不断发现在这一过程中不断有新的参与主体、管控对象。为了将其纳入到统一的管控流程中，破解业界业务技术高效协同的难点，我们建设起一套工具平台支持流程的快速变化与上线。在管好流程中，为实现数据资产全生命周期安全可控，以数字资产协同、数据字典为载体，通过可视化流程建模工具，快速响应数据从需求提出到成果交付/数据从生产到消费的全生命周期的管控要求，实现了集团数据管理的资产化、标准化、流程化。2.汇聚集团数据资产，消灭数据竖井实现输出同源数据实时可见（1）即算准又算对，搭建湖仓为基础的集团数据底座。考虑到中行数据的复杂情况，包括数据规模和数据复杂性，如何将复杂的且多样的数据算对，如果单纯地使用Hadoop技术栈很难满足数据的复杂关联快速运算，而单纯使用MPP技术栈则无法满足数据规模可控扩张，即单一的技术栈很难同时兼顾数据规模和复杂计算的高效要求。经过探索研究，我们创新性地构建起湖仓混搭模式的数据基座。通过将结构化、非结构化数据集中存储，并把数仓加工结果下沉到数据湖，解决了由于湖仓技术栈不一致导致的数据分离问题，实现了数据统一。按照相同标准和规范，对湖仓数据分层加工，解决了标准不统一的问题。所有对外提供的服务均通过以数据湖为核心的数据服务总线提供，保证了数据服务的集中统一。（2）即算对又算快，搭建湖仓为基础的集团数据底座。湖仓协同的方案虽然在中行批量数据处理领域取得了显著成果，有效地解决了数据规模和加工效率的问题。然而，随着业务的不断发展，对于实时数据服务的需求也日益增加。为了满足这些需求，我们在湖仓协同的基础上，引入了流批一体的计算机制。该机制融合了离线仓库和实时仓库的数据模型，在确保数据一致性的前提下，实现了即“算对”又“算快”的业务需求。具体而言，实时数仓将T+0客户交易信息推送至数据湖Kafka消息队列中，以供实时数据仓库消费使用。同时，实时数仓采用Flink技术，将T-1离线湖仓计算的批量结果与Kafka队列中的实时数据结合使用，使用流批一致的数据模型进行加工，并将加工结果存储到数据湖中的Hbase、R e d i s 内，以供移动端调用。最终达到了实时业务数据的处理与展现，计算数据的刷新频率达到5秒钟刷新一次，处于同业领先水平。3.数据智能驱动，重塑数据挖掘、数据共享、数据应用、数据消费生态（1)A I 加持数智驱动，构建共用共建的数据应用机制。数据在数据平台产生后，我们引入了人工智能技术，创新性地开发了一个面向全行各业务条线的“分析师工作台”。这个工作台具有以下几个特点。首先，它建立了一个数据安全探索的平台，为用户分别设立了不同安全等级的分析租户，为分析师提供所需的安全探索数据的安全性，并且为分析师提供一个更加安全可靠的工作环境。其次，它建立了数据算法工厂和模型仓库。算法工厂中包含了常用的加权计算、均值计算、方差计算等统计类算子，同时也沉淀了自学习、卷积神经等16 8 余个通用算子。这些算法可以帮助分析师更快速地进行数据分析，提高分析效率。另外，在分析师工作台中，数据模型可以作为一个可以共享的数据产品对外提供，方便其他用户进行数据探索和使用。最后，它支持可视化报表开发、多语言编程、数据挖掘等。在分析师工作台中，任何一个分析师都可以使用多种编程方式进行数据探索、数据挖掘、制作可视化报表。可以让分析师更加方便地进行数据分析和可视化展示，同时也可以提高分析师的工作效率和质量。（2）渠道丰富千人千面，构建一站式的数据展现机制。数据治理水平的高低最直接的表现是展示渠道，通过调研我们发现业界普遍存在展示内容不统一、展现渠道不统一、展现数据不一致三大问题，为此我们统一了中行数字资产服务的交付渠道，构建了一站式的数据展现能力。通过统一数据门户与数据纵横APP，向全行用户提供各类数据产品与服务；通过精细化管理用户、功能、数据、权限等要素，实现“千人干面”的个性化服务。（3）安全探索敏捷高效，构建一致多态的数据运营机制。研发高质量的数据分析类产品最大的矛盾在于生产数据多样化与生产数据安全性的矛盾，数据分析师在设计数据产品过程中依赖海量多样的生产数据以确保模型加工正确，但受限于生产环境数据安全的管控要求，无法获得原始的海量数据。针对该问题，我行创新性地构建起一致多态的数据运营机制将大数据平台划分为沙箱、开发、灰度与生产的“四态”环境，在技术架构、数据架构、安全架构、产品架构等方面均保持一致，但在各个环节上依据各态特点，在数据探索、数据验证、数据消费上有所侧重，实现了数据服务的快速响应，数据产品的敏捷迭代。4.全栈自主可控，搭建兼顾安全稳定与敏捷高效的基础技术平台（1）构造安全、自主可控的企业级数据治理产品架构。中国银行企业级数据平台基于大数据全栈信创架构构建了“一云多芯”企业级数据平台，实现了整个数字资产管理和运营领域的全栈自主可控。数16Cover Story封面专题据纵横平台从硬件、操作系统、中间件三个维度以信创供应链为基础搭建技术架构。技术架构具备高可用、易扩展等特点，结合虚拟化技术，构建底层资源可统一管理、动态调配的IAAS及PAAS服务，无对外服务的故障“断点”，基于自研分布式服务框架构建云上服务，多地多中心部署，保障应用服务高可用、不间断，此外业界首创大数据灾备体系，构建无间断的大数据服务体系。（2）构造自主研发、敏捷高效的大数据基础技术平台。数据纵横平台自身的产品建设通过敏捷高效的大数据技术平台支持，构建覆盖数据采集、存储、计算、使用和管理等全生命周期的能力体系，为大数据领域开发测试、运行运维提供一站式技术支撑能力。中国银行的大数据技术平台包含大数据开发框架、大数据调度引擎、公共技术组件三大模块。大数据开发框架的建设，为行内数据分析类应用建设提供统一的工艺流程、工具平台及组件框架，全方位支持应用开发，降低开发难度；大数据作业调度引擎的建设，以自主可控的分级调度体系及顶层统一管理、跨平台调度能力，实现数据领域的统一调度。公共技术组件的建设，对数据采集、加载、传输等过程中通用技术能力的抽象与标准化封装，向各类大数据乃至非大数据应用输出标准数据使用能力，实现各标准化专项能力的高效复用和共享。平台建设中还形成了丰富的大数据标准规范体系，使得大数据的产品建设更加规范化、体系化，敏捷支撑行内大数据应用产品建设，促进我行数字化转型。赋能定局，开创数据价值创造新局面通过近三年的持续努力，中国银行“三横两纵一线”企业级数据平台已建成一套以大数据平台为基础、以人工智能技术为手段、以服务客户为目标、以风险防控为底线的数据智能体系，成功实现了企业级数据平台的高质量运营，并为行内科技和业务条线精准赋能，促进了各业务领域数据价值的快速实现。1.从技术创新到商业价值创造企业级数据平台建设的过程中，全面开展数据架构转型及IT工艺优化，建成一套内容丰富、标准统一的数据服务平台。一年来,打破数据壁垒，整合“数据竖井”50个，落地新型数据应用43项，建立各类业务模型2 0 0 0 余个，数据分析挖掘时间成本降低7 0%。同时大幅减少IT资源投入，单位数据处理成本降低6 0%，应用研发周期缩短7 5%，研发成本减少1.3万人天。在风险管理、智能营销、贸易金融、运营管理等领域取得显著成效，如在获客活客方面，通过数据的深度挖掘，手机银行沉默客群促活率提升近5倍。自主研发的外汇价格预测应用模型，已服务于来自49个国家或地区的150 家机构，在市场剧烈波动的情况下可保持较好的预测绩效。2.从生产效率到运营风险管控在企业级数据平台建设的同时，大力开展数据治理，实施全流程管控，数据资产质量全面提升，异常数据大幅减少，数据不准、不全的现象已成为历史。研究建成了一套共享、共建的数据应用新机制和数据分析新模式，已为全行2 3万员工带来了“看得见、用得上、见效快”的数据应用新体验，全面提升了业务处理的智能化水平，重视数据、应用数据的文化已然形成。加速数据分析师队伍建设，具备数据建模、分析、挖掘等能力的数据分析人才已达7 0 0 0 余人，覆盖全集团、全业务、各层级，成为我行数字化转型的骨干力量。企业级数据平台建设还有效地促进了业务与科技的深度融合，形成的企业级思维和工艺方法，实现了从战略到需求到IT实施的有效承接，确保了数据管理运用能力的可持续输出。3.从集团价值到国家战略实践项目建设积极响应国家和行业号召，围绕“数字经济、信创工程、创新驱动”发展战略，积极推进架构和技术转型。一是响应“东数西算”规划，探索利用公共存储和计算资源实现数据跨域存储和主权管理的新机制、新方法，建成内蒙古大数据机房，带动当地绿色经济发展。二是全面落实国家自主可控要求，构建了由“国芯、国魂”支撑的大数据开发和生产运行体系，为中行数字化转型奠定了基础，为行业内大数据领域全面自主可控发展出了一条可信任、可复制、可持续的发展道路。三是稳步实现海外分行、综合经营公司数据合规接入、隔离存储、安全使用，为集团战略发展注入数据的力量，为国家数据安全建设提供案例和实践。展望未来，中国银行将根据央行发布的金融科技发展规划，结合全球区域管理要求，坚持发挥好数据要素的核心价值，在央行的带领下，与同业和产业一道，共同推进数据平台标准化、规范化、智能化建设，实现技术共享、联合共治。在商业银行质量变革、效率变革、动力变革中，充分发挥数据资产的效用，为金融行业的高质量发展贡献中行智慧和力量！全一等奖中国银行“三横两纵一线”企业级数据平台建设项目荣获2021年度“金融科技发展奖17