阿里云：全域数据“观”（2023）.pdf

封面页（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿 PDF 版中做更新）专家力荐 过去几年，阿里云、瓴羊等平台和企业，致力于将阿里十数年沉淀的数字化经验，帮助企业尤其是金融机构，通过数据智能落地，探索业务的不断增长。今天，这些经验和思考集结成册，相信无论对金融行业，还是每一个力求数字化的企业，都是极好的经验交流的机会。信息（数据）只有流动起来，才能发挥出最大的价值。数据的未来，就是我们的未来。阿里巴巴集团副总裁、瓴羊 CEO 朋新宇 在过去的二十年，我们看到一个越来越明显的趋势，数据要素正在转化成为金融企业新的“资产”，在风险防范、客户服务、产品推广等领域发挥着不可或缺的作用，助推金融企业的业务发展。但是数据并不会自发地转化为资产，业界的成功经验表明，这背后需要建设一套完整的数据体系，并且需要有体系化的建设方法，否则企业会深受数据质量差、底数不清、数据更新不及时、数据口径不一致等问题的困扰。该文基于阿里云多年服务金融行业的成功经验，针对金融企业在数据领域可能遭遇的挑战，从多个维度阐述了数据体系的建设，并且总结了一套完整的数据体系建设方法，对于金融企业而言有很强的借鉴意义。阿里云智能副总裁、行业解决方案研发部总经理 曾震宇 一个看似稳定的行业会在什么时候迎来重大的业态改变？可能是新的生产要素出现以及配合新要素的生产工具也出现新发展的时候，这个转变恰好刚刚开始。数据作为新要素获得社会级的支持是近两年的事情，从数据要素统一大市场到数据资产记账规则再到“数据二十条”的发布，我们看到的是国家为新要素发展做出的基础性改变，但企业是否已经真的意识到了新要素的重要性？是否为此准备好了新工具？是否为新工具调适了新组织？可能大部分企业尚未做好这样的准备，也在思考要不要做、要怎么做。阿里云既经历了阿里自身的新要素建设，也观察了多个行业的新要素探索，本次阿里云将经验与思考合盘托出，是一次对数据要素发展的“盘评治享”，相信企业会在此找到同行者。北京天润聚粮咨询执行董事总经理、中国计算机学会软件工程专委会委员 付晓岩 目录 引言.5 一、金融行业数据领域面临的困扰.7 1.数据平台逐渐“掉队”.7 2.数据治理面临“熵增”困境.8 3.数据资产面临“兵多、精兵少”.9 4.数据服务“效率低”.9 二、金融数据发展瓶颈的破题之术.11 1.转换顶层设计思维.11 2.锚定业务价值目标.13 3.破除数据供需壁垒.14 4.严控数据高质提效.15 5.融合算力数智驱动.16 6.强化数字人才能力.17 三、金融数据能力建设的核心观点.19 1.以全局视角的驱动力.19 2.以分层视角的核心力.23 3.以业务视角的价值链.48 四、金融数据能力建设的成功要素.57 1.关键能力和价值方向.57 2.关键路径和成功要素.58 尾声.64 引言 5 引言 “大风起于青萍之末，浪成于微澜之间。”用这句话来形容中国金融行业数据领域发展的历程颇为恰当。从 2003 年银行的数据仓库开始建设到今天整整 20 年过去了，相比其他行业，金融行业是真正完整地经历了数据仓库建设和大数据建设的两个十年周期；同时经历了从 MPP 技术到 Hadoop 大数据开源技术，再到存储计算分离的云原生数据处理技术；再到 AI 数据智能化的时代；从持续了 20 年的数据治理到今天全域数据资产管理的数据中台化架构，关于金融行业的数据计算分析和智能化运营的探索从来没有停止过。但是如何在原有的数据基础和平台技术积累上完成全局视角的数据能力提升和技术体系的迭代，这是今天金融行业共同关注的话题，也是金融机构进入数字化智能时代的重要标志。阿里云历时五年助力阿里巴巴集团完成了全域数据中台的建设，同时也服务了众多不同类型的金融行业客户在数据平台的建设和数据治理；数据智能化方面，在接触了近千家金融机构了解实际业务需求和现状后，激发了我们创造本文的热情与初衷，期望用更全面、更立体的视角去定义数据的技术和业务价值；站在全局视角去剖析数据生命周期的管理；站在云原生技术的视角去审视数据计算能力的未来布局。同时全文解析了从底层数据计算到数据资产化的完整建设方法和路径，分析了当前数据平台如何从分而治之的建设模式和技术体系逐步演进到全局的数据智能化中台。关于数据领域研究，不仅仅是单纯的技术命题，我们也讨论了金融机构内部数据运营模式以及数据人才建设体系这些当前重要话题。期待本文能够为金融机构不同部门在治理/应用/运营/计算/决策等诸多数据方面的工作，带来有价值的新发现，带来更多关于数据思想的碰撞。本文共分为四个章节，全面围绕当前金融机构在经历近 20 年的数据建设中，依然面临的效率、质量、服务、人才等方面问题，核心从业务对数据的痛点入手，通过能力体系建设方法，助力金融机构掌握数据能力体系的建设目标、方法和成功要素，从而推动金融机构逐步实现数据驱动业务发展的目标：第一章从金融行业数据领域面临的问题出发，重点描述当前金融机构在经历近20年的数据领域建设后，仍然面临数据底数摸不清、数据治理差、数据服务低效、数据资源不足和响应慢的问题，而这些都是我们面对不同金融机构、不同层级的客户提 引言 6 出的痛点和困惑。我们综合了相关问题，通过部分示例列举的方式给出了相关的判断。第二章结合第一章分析的数据体系、数据质量、数据资产、数据服务等领域面临的困惑，提出采用全局思维，以业务价值为终极目标，分析数据领域问题，再进行分层分步推进的总体策略。同时，为了便于读者理解，引出数据建设的 6 大断言，涵盖了数据能力体系顶层设计、业务价值、数据服务、数据治理、数据平台、数字人才相关领域的建设方向，希望为读者带来启发和帮助。第三章从建设方法入手，给出金融行业未来数据能力建设的核心观点，首先从全局视角规划企业数据能力体系的“1”张数据战略蓝图、“3+1”数据体系以及“6”大核心能力，并对其中的数据体系提出了算力驱动、数据驱动和价值驱动的 3 大驱动力；其次用分层思维，深化“3+1”数据体系设计，提出了数字基建 5 大法则、数字资产 8 项能力、数字应用 3 个要素、运营保障 1 套机制的核心能力；最后站在金融机构的“前中后台”不同部门的视角，以获客营销、产品定价、风险审计、数据治理、技术架构等 5 个领域为例，分析数据体系为企业数字化经营带来的价值。第四章结合第三章的数据体系建设方法，本章以目标为导向，开篇提出金融行业数据体系建设的 5 个价值方向，目的是为了让读者了解未来建设数据体系的成效目标。然后围绕数据体系化建设、数据模型合理选择、数仓建设模式、数据服务协同、数据资产运营、数据确信机制等方面给出相应的策略分析，帮助金融机构结合自身现状和现有成果进行选择，满足自身发展需求的建设路径和方法，或者是整体重构，也或者是升级优化。此外也建议金融机构在实施路径上，既要有战略层面的全局设计，也要能小步快跑，满足现阶段业务发展需求。合理的选择实施策略和制定短中长期建设目标，将成功助力金融机构数字化转型。一、金融行业数据领域面临的困扰 7 一、金融行业数据领域面临的困扰 真正的竞争力，是把所有人都可能拥有的东西变成财富，让沙子变成硅，这才是核心。王坚在线 数据是战略资源。如何高效获取更多有用有价值的数据？如何让数据赋能业务创新？如何保持指标口径一致，让监管数据更加准确？如何让更多的业务人员懂数据，又如何让更多的普通人会使用数据？这些问题都是当前各金融机构在数据领域建设中普遍面临的困扰。1.数据平台逐渐“掉队”“哪里的数字化程度高，用户就往哪里迁徙。”数字化程度一个重要标志就是，“数据与业务的关系”是否能从“跟随”（事后分析）、走到“伴随”（实时分析）、再走到“引领”（智能服务）。数据平台能力越强大，将会越快步入数字化程度更高的阶段。金融数据是大数据商业应用最早的数据源。早在 1996 年摩根大通银行就聘请数学家丹尼尔利用递归决策树统计方法，对抵押贷款用户进行统计分析，帮助银行找到可能提前还款或者未来不会还款的客户。国内金融机构以国有大行为代表，从建设数据仓库至今已有近20年的时间，大数据技术从商业产品到开源产品“百花齐放”，一、金融行业数据领域面临的困扰 8 数据大集中推动了企业级数据平台的形成与发展，在发展的过程中，金融机构形成了一套相对完整的数据技术体系和管理体系，支撑了以监管报送、统计分析、业务决策为代表的应用场景，取得了一定的成果。但同时，业务发展对数据井喷式的需求，金融服务粒度正在从“大”到“小”到“微”，数据平台对业务起到“实时精准制导”作用，原有的数据架构逐渐显得“力不从心”。数据需求和海量数据的激增使数据平台资源规模的爆发式增加，大型金融机构节点规模达到数百甚至上千台，大规模集群的稳定性与数据容灾等问题凸显；面对异构数据的集成，差异化的数据格式分析，如何满足多样化应用的数据服务需求存在挑战。如，海量数据查询难以高质高效；多源数据统一存储管理，需要非常简单的融合分析能力；源系统数据变更频繁，需要自动识别和管理；全量建仓或者直连分析对源库压力较大，卸载压力规避故障，建仓延时长，需要低延时入湖；海量数据在事务库或者传统数仓中存在成本高，面临降本压力等等。过去 5 年金融机构的数据总量增长了 3 倍多，实时数据、触点数据、过程数据、流数据、音视频（非结构化)数据等数据价值不断被挖掘，未来业务对数据规模、数据类型、数据应用需求会更进一步放大，现有的数据架构开始出现“掉队”情况。2.数据治理面临“熵增”困境 数据天然面临着“熵增”（模型、指标、数据量）问题，需要一个“都江堰工程”，持续治理、持续做减法。金融行业是最早具有数据管理意识、最早开始建设数据治理体系的行业。虽然经过十几年数据标准建设，但金融机构中的数据仍然很难实现统一和规范，管理决策中数据普遍存在“同义不同名、同名不同义”的局面。例如，银行在监管报送和内部管理两个场景都使用“涉农贷款”这一指标，但是因为口径不同计算的结果肯定不同。监管报送中“涉农贷款”的口径只统计“涉及用于农业、林、牧、副、渔业所属活动或支农活动的贷款”，而内部管理的指标还要包含新农村建设、集体经济发展、民俗旅游等维度，因此出现“同名不同口径”的现象。这类同名指标虽有标准定义，但计算加工过程因没有管控，导致不同部门应用指标时会产生差错。造成数据标准“只有定义、没有落地”的一个非常核心的问题在于，数据标准的“定义”和“实现”实际是两层皮，标准一旦定义完成，就变成“墙上的画”，没有切实镶嵌和固化到日常的数据生产、加工处理和应用的环节当中去，没能建立全链路数据治理能力，有效地从数据生产源头加以强制约束，确保数据质量。一、金融行业数据领域面临的困扰 9 据监管公布数据：2021 年度，人民银行及银保监会向各类金融机构共开出“数据相关”的罚单超过 1000 张，其中与数据质量相关罚单超过 800 张，占罚单总量的近80%，位列处罚事由榜首。所有超千万大额罚单均与数据质量相关，数据质量直接影响了金融机构的生存质量，如何提高数据质量，已成为金融机构亟待解决的问题。3.数据资产面临“兵多、精兵少”“数据指标数据资产”。企业往往面临着“指标多、资产少”的困境，报表很多，但能够服务业务，且可复制、可重用的数据资产（精兵）却很少。经过多年的信息化系统建设，一个中等规模的金融企业往往拥有数百个应用系统、多套数据平台、业务数据表数十万张、业务报表少则几百张、多则数千张。面对这样的“海量信息”，业务和技术人员都会存在一种“坐在金山上讨饭吃”而望数兴叹的感觉。数据部门的数据分析师“找数难”：例如数据分析师建立分析模型时会困扰“没人能告诉我全貌数据都包含什么内容，我怎么能知道分析模型需要的数据咱们行是不是都有。”业务部门的数据用户“查数难”：“这个报表数据的内容看起来不对，我怀疑加工过程中有计算逻辑错误，可是科技也不清楚数据的加工链路，不知道错误出现在哪个环节。”科技部门的技术人员“用数难”：例如数据研发人员经常会遇到的困境“在五六个系统当中都有类似的客户信息数据，我用哪份数据去加工报表更合适？”事实上，这些问题的产生根源都在于我们没有对企业的“数据家底”进行全面的梳理和盘点，不同“数据用户”缺乏有效的工具和手段对企业的数据资产进行全面的了解。4.数据服务“效率低”拿破仑说“真理只在大炮射程之内”。同样，“数据价值也只在数据射程（数据服务）之内”。一、金融行业数据领域面临的困扰 10“数据服务响应慢”是大部分金融机构用数部门面临的数据供给能力不足、效率低下的问题。在传统的数据服务模式中，业务部门与数据部门陷入到了“提需求提数未达预期再提需求再提数”无限循环的“莫比乌斯怪圈”中。这种工作模式中存在两个方面的关键问题：一方面是业务人员“懂业务不懂数据”，数据人员“懂数据不懂业务”，互相理解不够，传递层次越多、信息衰减越大。另一方面是数据需求往往靠技术团队逐个响应和满足（技术团队成为瓶颈），缺少统一的自助数据服务、共性数据需求提炼、差异化需求优先级管理等。目前，很多金融机构已经意识到这一点，开始提出“数据产品”、“数据门户”、“数据工厂”的理念来建设“自助化、可配置、可共享”的数据服务。二、金融数据发展瓶颈的破题之术 11 二、金融数据发展瓶颈的破题之术 金融机构当前所面临的问题和挑战，不再是建设大数据的初期从无到有的过程，经过多年的建设，不论从技术、数据、应用各个维度或多或少已经沉淀了一定的数据基础，现阶段已经到了优化数据体系，推动数业融合，释放数据价值的阶段。下面我们分别从顶层设计、业务价值、数据服务、数据治理、数据平台、数字人才6 个维度提出数据建设思路和断言，希望能够给大家带来一些启发和帮助。1.转换顶层设计思维 “未来商业的 DNA 有两个螺旋：一个是网络协作，另一个是数据智能。”智能商业 断言 1：数据体系建设不再只是“科技的事”，“数据战略就是企业战略”。需要一把手站在“上帝视角”，有决心打破一定的传统业务惯性，推动业务、技术、组织来形成的企业级能力。目前数据架构正在从“大数据”走向“快数据”，未来的金融机构都是“数据驱动型”企业，企业级数据架构需要数据覆盖更全，数据质量更高，数据流通更快，数据应用更准，加快数据与业务的深度融合。二、金融数据发展瓶颈的破题之术 12 1)从业务视角 数据应用一定是业务场景与数据技术紧密融合的产物，如何让数据技术快速赋能业务，又如何缩短从业务提出数据需求到变现落地的时间窗口？是必须经过一个场景一个场景地打磨吗？显然不是。科学合理的方案是通过一个数据归集平台和一套高效的数据工具，让每个业务人员都能自主操作、自行分析，推动业务人员既是场景问题的提出者、也是场景方案的创作者。2)从技术视角 金融机构普遍在数据领域已经有了沉淀积累，但需要结合自身现状，形成一套覆盖数据采、建、管、用各个领域的“数据蓝图”。对数据采集而言，核心能力要做到全域数据实时采集，而“建”数据的核心能力是敏捷构建数据基础、数据资产和数据连接的能力，“管”数据的核心是实现全链路数据治理能力，“用”数据则是强调业务场景驱动的高效数据服务能力。此外，随着金融机构数据规模的激增，除了数据融通之外，平台的计算效率、存储成本、数据容灾、资源可扩展、可运维等方面都需要进行打造。3)从组织视角 打破部门墙，让数据团队走向业务团队，并建立跨部门协同机制，这是数据创造价值的一大利器。为此，很多金融机构提出了打破部门墙，培养综合人才的做法。有条件的金融机构纷纷成立了数据管理部门，统领全公司数据能力建设；也有些金融机构成立固定数据领域业务需求团队，对接业务部门，建立业务、科技的数据桥梁，并由此不断沉淀共性的数据需求。在这样的组织形式下，数据部门与业务部门融为一体，建立专职人员组成协同团队，相互了解对方的工作内容和专业术语，数据应用的顺畅度大幅提升，业务部门的抱怨少了，数据部门的价值也就得到了体现。由此可见，数据领域的建设不是单纯的技术建设，而是需要将技术、业务、数据以及组织与人才有机地结合起来，形成一个能力闭环，持续地沉淀数据能力并不断释放数据价值。二、金融数据发展瓶颈的破题之术 13 2.锚定业务价值目标 “数据主义认为，万物皆算法，任何现象或实体的价值就在于其背后的数据与算法，企业运作就是一套数据+算法”。未来简史 断言 2：未来数字企业的核心竞争力在于，能否将业务的最佳实践“固化”为数据产品（数据和算法），形成一套业务实践与数据体系之间“闭环反馈”的“数字化神经系统”。数据体系建设的成功与否，最终是以业务部门创造的业务价值来衡量和检验效果。数据体系一定要围绕着业务应用，以解决业务部门在不同场景中的痛点为根本目标。因此，引导业务部门积极主动参与建设，从各个业务场景出发设计数据应用方案是数据体系创造业务价值的关键因素。以往金融机构的经营运转，特别是影响重大的业务运作极其依赖于人的知识与经验。有大量碎片化、难以结构化存储的知识是以经验的形式留存在一线员工的头脑中，这也造成了金融业务的开展很依赖于人，一些工作环节虽然无数次重复但却无法快速复制，一些关键决策点需要人的参与，无法保证前后多次决策的一致性。例如：银行在进行贷前风险调查中，通常依赖于有经验的信贷经理实地调查。这些信贷经理常年与客户打交道，总结出了一套颇有成效的经验打法，但经验丰富的信贷经理毕竟是少数，大量年轻的信贷员要在老员工的传帮带下经过多年的锤炼才能足够胜任。像这样沉淀在信贷经理头脑中的业务经验，如果可以拆解到多种业务场景中，每个场景又包含了可量化的指标、可规则化的逻辑判断，以及可归纳总结的决策环节，最终再通过数字产品化的方法，为信贷经理提供直观的数据呈现和关键的决策点，信贷调查效率就能大大提升。同样信贷业务，银行在贷后风险识别中，过去是由信贷经理上门查看企业生产运转情况，分析企业经营流水。有经验的信贷经理能从企业的工厂物料堆放，经常往来的供应商清单中看出风险痕迹。而现在，有些技术领先的银行已经在尝试通过 AI 视觉技术对企业生产现场照片和视频进行识别分析，采用 NLP 技术对企业在银行的流水记录进行分析，从而将信贷调查进行数字化、结构化，通过新技术尝试风险识别的智能化，从而辅助信贷人员提升风险判断能力。二、金融数据发展瓶颈的破题之术 14 数据的最大价值是通过对历史业务的挖掘分析，将以人为驱动的业务经验总结出来，形成以数据驱动的业务动作，用量化结果辅助业务决策。把人员从重复劳动中解放，让有经验的人员集中精力于业务决策。3.破除数据供需壁垒 “宇宙中最反直觉的真理是，你给别人的越多，你得到的也越多。”断言 3：数据与业务是相互启发的，数据给业务的启发越多，业务对数据的需求越多。“手工提数”作为一种“低水平满足”，将由“全民化的数据服务”所取代。如果期待业务背景的数据用户能够自主的把数据用起来，一定是能够感受到数据对他们的工作带来了帮助和便利，甚至能够直接提升他们工作的成效。能够让用户用数的门槛降下来，让用户用数更加方便快捷，能够快速敏捷地形成数据产出。通过数据服务一体化平台建设，为各类数据用户提供低门槛的一体化入口，提供浏览、搜推、个性化订制、一键取数和智能交互等服务功能。通过数据服务一体化平台，用户登录时，系统按照客户的角色、工作内容、既往访问行为等信息，推荐给客户最适合使用的数据产品，用户也可以采用主动查询的方式来搜索数据内容，系统将综合考虑资产使用热度、数据源质量等信息对返回结果进行排序，使得用户以最快的方式锁定自己想要访问的数据表。用户可以通过“一键取数”的功能，直接访问数据表中的部分或全部数据内容而不用按照惯有流程手动进行数据申请并等待审批处理，系统会根据用户数据权限自动审批访问申请。二、金融数据发展瓶颈的破题之术 15 智能化服务引擎为业务用户提供更为便利的交互方式业务人员可以尝试以语音的方式表达自己的数据访问需求，例如：可以问“上个月的个贷贷款总额是多少？”通过对语音和语义的识别，屏幕上会显示个贷贷款汇总月报表，供用户浏览和分析。一站式平台的端到端方案，以可视化、零代码的方式，实现“所想即所见，所见即所得。”让数据的使用更加接地气，真正的走进业务、赋能业务。4.严控数据高质提效 “不能翻来覆去做同一件事儿，却期待能有不同的结果。”爱因斯坦 断言 4：“数据质量决定生存质量。”对未来的数字业务而言，数据质量的好与坏会直接反应在关键经营指标上（比如：坏账率等）。数据质量将建立和食品质量管理一样全流程管控体系，从源头抓起，嵌入数据生产和消费加工全链路各个环节。在数字化能力建设中，“高质量数据”是保证数据服务效能之“器”，没有“好数据”作为基础，无论在任何数据建设和服务的场景中，都免不了陷入“垃圾进、垃圾出”的无效工作怪圈。通常来讲，一名成熟的 AI 数据工程师只有 10%-20%的时间真正花在算法编码上，有超过 50%的工作时间，是在对数据进行处理和加工。如果数据质量低，充满空值和错误的数据，就会占用 AI 工程师更多的时间在数据质量的修正和空值处理上。如果 AI 工程师不幸没有识别出全部的错误数据，那么以这些数据作为输入，算法就可能会得出错误的结论，误导决策者做出错误的判断，从而影响业务的发展，这个是更为可怕的后果。有时数据质量的问题产生是由于一线业务人员缺乏对数据重要性的理解，在数据录入时过于随意，例如因为嫌弃录入麻烦而忽略对重要信息项的填写；有时业务人员会因为各种原因故意录入错误的数据内容，例如：明明应该录入客户真实的手机号码和地址信息，业务员会因为不想把自己的客户信息透露给企业或者其他同事（这种情况在寿险公司非常普遍），就故意把自己的手机号和家庭住址填写到客户信息当中，这种现象严重制约了企业做精准的客群画像，使得企业没办法精准地了解客户，难为客户提供最匹配、最适合的产品。二、金融数据发展瓶颈的破题之术 16 数据质量管理的破局思路在于，质量问题必须从源头入手，并贯穿数据生命周期。数据质量的治理卡点必须要镶嵌到数据产生、获取、加工、使用的各个流程，通过数据质量治理工具嵌入到集成、加工、使用的各个环节中，并通过统一的管控平台进行任务分发、任务追踪和整体监控，以此达到对数据质量优化的效能提升。5.融合算力数智驱动 “只有精准，才有未来。”智能商业 断言 5：“数据的下一站是智能，数据最终会走向与业务系统的数智融合”，数据消费正在由“人”变成“系统”。未来数据技术将与云原生和智能化全面融合，形成“云数智一体化”服务。由于历史原因，大部分金融机构数据应用系统都是先于数据平台建设，不同应用涉及的责任主体、流程、数据和系统各自独立，这个阶段应用系统主要以业务需求驱动为主，业务个性化、效率优先，建设方式也是以竖井式的，应用间缺少复用及共享。数据仓库的诞生从组织层面一定程度上解决了复用共享、标准统一的问题，重复建设、各自为政的现象也大为减少。截至目前，在处理策略、语义支持、场景支撑以及工程经验上，数据仓库是目前沉淀下来的企业管理数据较好的解决方案。当前，大规模数据计算和基于数据的智能决策，已经成为企业业务数据化运营的重要基础。随着大数据系统整体架构趋于稳定，各种引擎的发展逐渐进入收敛期，批计算、流计算、交互分析、机器学习收敛成为四个核心计算模式，变化的趋势不断加快。1)数据和算力保持高速增长 未来几年对数据和计算力的需求持续旺盛。同时，海量数据涌入，单位数据的价值持续下降，拿到同样业务效果的算力要求持续上升。因此算力优化会持续成为核心课题，优化会来自于软件本身，软硬结合。二、金融数据发展瓶颈的破题之术 17 2)支持多模态计算和服务化 大数据计算需求场景和模态越来越多样化，覆盖从大规模的离线分析型计算，到交互式查询，到实时数据处理等多种场景。另一方面，由于缺乏能够统一支持多种计算模态的大数据系统，带来了系统部署碎片化、数据冗余、运维成本高等挑战，同时无形中提高了用户使用大数据技术的门槛。未来大数据平台会向整合统一、多种计算模态需求的方向发展，使计算系统更加透明，数据分析作为一种基础能力更加服务化、便捷化，用户的业务逻辑可以做到“一次编写，多场景、多模态适用”。3)面向 AI 的大数据系统 当前大数据系统的设计主要面向 BI，随 AI 技术在深度学习上的突破，通过 ML/DL带来更多的业务价值已逐渐被客户认可。大数据平台和机器学习技术的深度融合，包括数据平台传统组件，例如：优化器和索引，基于机器学习算法重新设计，机器学习组件更直接地嵌入大数据平台，直接为数据用户服务，Data Warehouse 和 ML Platform的界限越来越模糊。还有一些可能的发展方向包括硬件设计上（包括网络、内存等）更面向 AI 框架优化，从面向表的存储模式转向面向多维的存储，调度和算力分配的重新设计，数据处理充分考虑特征工程的需要，编程接口满足大数据和 AI（以 Python 为主）的融合。4)云原生化多引擎融合 云原生化解决方案将充分利用云的资源弹性、异构算力、标准化服务以及容器、自动化、微服务等云原生技术手段，通过弹性和软硬协同优化，持续提升资源利用率，并兼容各类主流或者用户自有的计算引擎，统一运行各类异构工作负载流程，统一管理作业生命周期，统一调度任务工作流，保证任务规模和性能，为 AI/ML 提供工程效率高、成本低、可扩展、可复制的端到端解决方案。6.强化数字人才能力 数据分析，分析的从来不是“数据”，而是分析和还原“业务”。断言 6：未来数据团队与业务团队是双向融合的，大部分业务团队会配备“数据政委”和“数据科学家”，以提高业务方的“数据变现”能力。二、金融数据发展瓶颈的破题之术 18 在上一章节讨论数据服务面临响应慢的困惑中，描述了业务需求和技术实现上的差异问题，其根本的破局关键在于真正“打通”需求和技术的“双向不理解”，洞悉应用场景侧真正的诉求，选择最适合的技术架构和原型方案，以数据产品的形式落地，并通过产品运营工作持续优化和迭代，从而优化开发效能，改善开发服务供给能力，在这些方面，人的因素至关重要。数据产品经理或将成为数据创造业务价值的“破局者”。1)数据产品经理是谁？数据产品经理，以“业务赋能”为第一目标，引领各部门和角色充分协作，以“数据产品”为手段和载体，最终实现数据对一线业务能力的促进和提升。数据产品经理不是简单的需求“承接方”，而是主动打破当前的问题解决思路，通过对业务的深入洞察，重构解决方案，将贯穿数据产品生命周期的始终，从需求形成阶段就参与和陪伴业务用户，从需求分析阶段开始、理解业务诉求、洞察和判断产品的应用价值、主导产品的规划设计、推进产品开发、并在产品上线后了解用户反馈、持续优化并推广产品的用户范围。2)数据产品经理需要具备什么条件？称职的数据产品经理是懂业务、懂数据、懂产品、懂技术的多重能力素养的人才，能够熟悉业务流程，熟知现有数据服务情况，并能够分析其中可能的改善点；理解业务所沉淀的数据，并了解业务对数据的需求；掌握产品设计的基础技能；例如：数据产品设计方法和标准工作流程、设计工具等；具备对数据以及主流数据技术的理解，例如：数据的存储形态、AI 和 BI 的主流技术等；此外，还要具备开阔的视野并充分实践精神。三、金融数据能力建设的核心观点 19 三、金融数据能力建设的核心观点 数据能力是一面业务“镜子”，如何把数据的价值从“后视镜”（做历史分析），转变为“望远镜”（看方向）、“放大镜”（精细化操作）、“显微镜”（发现问题真相），关键是看企业的数据体系的完整度（木桶的短板）和数据能力的应用程度（水位的高低）。数据能力和数据体系就像“水”和“木桶”的关系，水位越高、要求的木桶短板越高。为了具备更高的数据能力的“水位”，则需要数据体系“木桶”的每块板越长。我们认为，数据体系需要从顶层设计、业务价值、数据服务、数据治理、数智算力、数字人才等 6 个维度“木板”来整体考虑和建设，避免长板够长、但短板漏水的情况。1.以全局视角的驱动力 “公司级数据能力体系，需要站在整体看局部、站在结果来看过程。”传统的数据架构就像“老城”，是自然生长出来的。而现代的数据架构就像“新城”，是“先规划再建设”的，首先需要一个整体数据能力蓝图，围绕企业数据战略和对应的数据能力要求（从顶向下），系统化落地“3+1”数据体系（数字基础设施、数据资产、数据应用、运营机制）（从底向上），并实现提升效率、降低成本、提高质量、敏捷创新、人才培养和生态建设的 6 大核心能力建设目标。三、金融数据能力建设的核心观点 20 1)蓝图规划（自顶向下）通过自顶向下的设计方法，整体分析企业数据现状，拆解当前数据能力，归集并总结存在问题，结合企业数据战略，统一规划和设计数据体系的具体目标和落地路径，推动企业整体数字化经营，从而体系化解决原有数据体系分散建设的问题。2)“3+1”数据体系（自底向上）随着数据规模化发展，数据领域从技术架构、数据架构、数据研发、数据管理以及数据应用都提出新的要求，由此催生构建数据体系的算力、数据和价值的三大驱动力和一套运营保障机制。驱动力一：算力驱动，打造企业级数字基建。所谓数据基建是为了满足大规模离线计算、实时计算、AI 等各类数据处理引擎的算力需求，提升数据算力资源供给效率，从而利用云原生、容器技术，采用存算分离、多引擎算力融合、统一调度等技术构建的“云原生化数据底座”，具备如下 6 大特点：数字基建使用基于云的基础架构来支持资源管理、可扩展性以及运营效率。通过容器化技术在资源隔离和提供一致性的开发、测试和运维环境。利用多租户和安全技术，为用户提供一套综合的数据安全环境，解决数据安全共享问题。采用计算、存储物理分离，实现计算层与存储层解耦。通过构建统一数据库湖，计算层通过容器技术和数据沙箱，实现不同算力模型的快速交付和稳定运营。利用云和容器化的能力，集成实时、离线、流式数据存储与计算产品，关系型数据库、MPP 数据库等，多引擎支撑多种不同的数据计算与分析需求，同时实现数据在多计算引擎间进行融合，减少数据搬迁和存储，消除不同引擎数据研发和模型的割裂问题，提升资源效率，降低成本。三、金融数据能力建设的核心观点 21 驱动力二：数据驱动，沉淀企业高价值数字资产。所谓数字资产是指企业数据的核心资产，包括数据表、数据模型、指标、标签等。通过“采、建、管、用”的数据体系建设方法和“盘、评、治、享”的数据资产管理方法，可以分为多层的数据资产管理：针对数据模型层：数字资产建设通过统一的企业数据公共层建设，构建企业数据视图，帮助数据管理者提升数据资产质量和资产运营能力。针对数据研发层：通过建设一体化数据研发平台，建立数据集成、数据建模、数据研发、数据分析、运维管理等的一站式能力，同时数据研发需要同时支持实时、离线研发、AI 模型训练及研发等能力，提高数据研发效率，加速高价值数据的资产化。针对数据治理层：通过构建全链路数据治理和企业级数据标准，实现包括数据架构、资产目录、数据质量、数据安全、元数据等在线管理能力，消除线上线下两张皮的现象，提升数据资产质量，保障资产健康度，并利用一系列生产力工具（例如：数据产品、BI、AI）等构建自助式的数据服务，为业务场景提供敏捷的服务体验。驱动力三：价值驱动，业务场景驱动的数字应用。所谓数字应用是指通过沉淀的核心数字资产，数字应用可以通过多种形态的数据服务方式满足多场景数据消费的需求：如 API 服务可嵌入业务流程使用。数据产品可直接为客户经理提供展业服务。BI 和 AI 工具可帮助分析师进行在线分析和挖掘数据。数字门户还可通过集成方式打造一站式数据工作台。让数据应用真正做到“水到田头”多元化服务和便捷的数据消费体验。三、金融数据能力建设的核心观点 22 一套机制：运营机制，组织及运营的持续保障。运营机制是一个企业的“数据软实力”，是保障数据体系能够长治久安、持续发展的“数据军规”。它本身就是需要基于数据驱动的“机制”，而非“人治”。基于数据平台的技术、业务、管理、运维等多维元数据信息，结合业务目标和有限的资源（技术和人力），建立一套匹配的资产运营目标（资产复用率、业务覆盖率、降低成本等）、资产管理制度（发布变更、上下架、安全管理、资产积分）等，同时建立组织保障（数据产品经理、数据认证、创新大赛等）和数字化人才成长体系，在企业内部形成数据素养的文化氛围，通过不断学习和运用，让使用数据成为日常工作中不可或缺的内容。并不断完善全链路治理跟踪机制，不断进行资产评估和价值分析，打造企业的“数据精品品牌”心智。通过运营保障机制的不断作用，让数据真正成为推动企业高质量发展的“核心动能”。3)“6”大核心能力 通过“3+1”数据体系的建设，将帮助金融机构在以下 6 项核心能力上得以提升：三、金融数据能力建设的核心观点 23 2.以分层视角的核心力 分层视角是全局视角的进一步细化和落地指导，帮助我们将复杂问题简单化，化整为零，分层分类有序推进。在数据能力体系总体框架基础上，我们采用自下而上的设计方法，更细粒度拆解和抽象“3+1”数据体系，从支撑海量计算和存储能力的数字基建，围绕采建管用的数字资产，以数据驱动业务经营的数字应用，以组织保障的运营机制四个维度详细阐述数据体系的核心能力。1)数字基建 5 大法则 针对海量数据算不动、效率低、成本高、难运维等方面的问题，新一代大数据平台建设通常遵循以下 5 大法则：法则 1：具有云原生可扩展的多种计算模式融合 云原生框架天生具备快速交付、弹性伸缩、标准化、自动化、隔离性等诸多优势，持续提升资源利用率。再结合云原生数据架构的存算分离、融合计算、混合部署等优势，支持批、流、交互式、多模、图等不同计算模式的融合，例如：湖仓一体、三、金融数据能力建设的核心观点 24 流批一体、流式机器学习，使多种计算系统进行深度整合，在功能、生态上形成互补，用户能够在一套系统内完成更多种类型计算,提升平台运行效率，降低使用成本。法则 2：具有多层智能化的分布式存储层 存储计算分离会在两三年内成为标准，数据平台向托管化和云原生的方向发展。存储内部精细化的分层成为平衡性能和成本的关键手段，基于分布式存储系统上的多层存储（热存储/标准存储/冷存储等）与存储利用率相结合实现存储降本。其中，AI 在分层算法上将发挥更大的作用，编码和压缩在通用处理器上的优化空间有限的情况下，未来更大的突破和技术换代将取决于软硬一体化的技术发展及应用情况。法则 3：具有统一调度和弹性伸缩的资源池管理 随着数据湖存算分离不断深入,围绕基于云原生架构下来建立统一容器化资源调度系统成为数据湖存算分离发展的必要组件，为大数据与 AI 一体化架构提供统一资源池化及在离线混部的基础支撑；通过统一算力资源池实现资源统筹调度，优化资源细粒度的管理与调度，可以将离线计算与其它在线计算任务进行资源混部达到峰谷互补的效果，有助于提升服务器资源利用率；同时，也可以根据业务优先级分配计算任务资源，确保资源调度期间不发生争抢，实现在业务高峰期，以弹性扩缩容模式调用算力资源，充分发挥资源算力，提升响应效率。法则 4：具有异构计算引擎的工作负载协同 从计算引擎层面看，多种异构引擎混部协同是提升大数据资源利用率的重要手段之一，主要包括“离线实时一体、湖仓一体、大数据 AI 一体”等。其中：三、金融数据能力建设的核心观点 25 离线实时一体 单纯的离线或实时架构都无法完全满足业务场景的需求，通过在两类系统中进行数据同步来支撑不同的场景需求，也对整体数据链路的成本、代价和复杂性带来了不小的挑战。通过提供面向异构计算工作资源负载下的统一多维度查询分析服务，在线与离线计算共用计算和存储资源，解决资源波峰波谷问题，实现资源动态削峰填谷。另外，近实时架构兴起，在离线批量计算和流式实时计算之间，近实时架构避免了流计算庞大的状态存储与管理，在成本和延迟上找到了另一个平衡。随着近实时架构的逐步形成，计算架构最终将实现从离线到实时的全面支持能力。湖仓一体 湖仓一体是一种结合了数据湖和数据仓库优势的新范式，解决了数据湖的局限性。在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。提供数据管理特性和高效访问性能，支持多样数据分析和计算，综合了数据仓库以及数据湖的优点形成了新的架构。大数据 AI 一体 支撑规模化的业务增长仍是数据平台需要解决的问题。当前，AI 计算与智能数仓融合、算力加速的需求已经成为趋势，因此数据平台在智能化、多计算模式融合、软硬一体化架构升级、以及数据管理智