阿里云云原生一体化数仓.pdf

阿里云云原生一体化数仓新一代一站式大数据处理平台云原生一体化数仓发布DataHub数据总线运营看板数据大屏MaxCompute离线数仓服务分析Hologres实时数仓实时计算Flink版OSS/DLF 数据湖在线应用DataWorks 数据综合治理离线实时一体湖仓一体分析服务一体云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台，通过离线实时一体、分析服务一体、湖仓一体和数据综合治理架构实现成本更低，速度更快，性能更好，运维更简单。离线实时一体以MaxCompute和Hologres为核心的从N到1极简架构，提供离线实时一体化海量云数仓服务；MaxCompute和Hologres 10X性能高速原生互访，深度集成；MaxCompute发布EB级海量云数仓的快速查询能力。湖仓一体持续提升易用的湖仓开发体验；新增非结构化数据的湖仓管理能力；广泛支持开源生态对接。分析服务一体数仓实时化、敏捷化、在线化、一体化趋势明显；一个平台上、一份数据实现灵活探索式分析和高并发在线应用查询，同时实现良好的资源隔离和可用性；减少数据割裂，减少数据移动，统一数据服务出口。全链路数据治理 面向业务视角自顶向下进行数仓规范建模；问题驱动的可持续数据治理与企业数据治理成效评估；DataWorks开放平台全新升级。离线实时一体 数仓数据分析的演进方向架构复杂、数据同步难、数据割裂、开发成本高、不敏捷、人才培养难KafkaFlinkSubscriptionArchivingDim Table JoinHiveClickHouseDruidHBaseCassandraDrillPrestoRedisMysqlAPIApplicationsReportsDashboardsResultCachingBatch Processing批处理Batch Acceleration 离线加速Federated Analytics 联邦计算Point Lookups 点查询Realtime Analytics实时计算结果缓存MaxCompute大数据数仓体系的“纷繁芜杂”从N 到1的离线实时一体海量云数仓架构DataHub数据总线在线应用运营看板数据大屏实时计算Flink版实时写入实时更新流式写入批量写入写入即可见即席查询服务分析极致高并发、亚秒级低延迟Hologres实时数据仓库海量规模、高吞吐、复杂UDF秒到天级别的广谱适用性、低成本MaxComputeEB级数据仓库离线和实时无缝协同，为客户提供全频谱覆盖的一体化云数仓服务MaxCompute+Hologres 离线实时一体化升级发布Hologres向量引擎直读MaxCompute，30%性能提升Hologres原生向量引擎直读MaxCompute，30%-80%性能提升，更少RPC，更少序列化复用Block Cache，避免存储IO开销支持表达式下推异步ORC Reader，异步Prefetch，支持LazyRead，Lazy Decoding数据原生读写每秒百万同步支持百万行/秒MaxCompute与Hologres之间同步数据，简化数据发布、回刷场景Hologres支持跨集群加速访问MaxCompute支持就近访问Hologres支持MaxCompute TransactionTable元数据自动可见Hologres支持MaxCompute元数据批量导入，支持自动发现与刷新支持更多数据类型读写：Array等上线Serverless共享集群（MaxCompute加速版），无需提前分配CU，按需使用MaxCompute快速查询能力发布以低成本方式对海量数仓实现加速，全链路平衡客户在性能、延迟和成本上的矛盾MaxCompute内置查询加速引擎，离线查询加速到秒级数据通道新增支持流式写入，配合查询加速引擎，可实现近实时可见，有效缩短业务洞察时间JDBC接口新增支持更多主流BI工具观远BI、网易有数BI、Superset、Davinci加速引擎支持多种付费模式后付费支持自动识别加速，无须用户关注预付费支持独享资源组，可稳定加速（Upcoming!）MaxComputeTable自动识别算法SparkStreamingFlinkBinLog运营看板即席查询离线查询StreamingTableTable离线作业StreamTunnel查询加速湖仓一体 数仓数据架构的演进方向对比维度数据湖数据仓库数据建模事后建模Schema-on-read事前建模Schema-on-Write存储类型结构化/半结构化/非结构化结构化/半结构化引擎性能向所有引擎开放各引擎有限优化向特定引擎开放易获得高度优化成本易启动难运维管理难启动易运维管理（甚至免运维管理）数据治理质量低难管理使用质量高易管理使用计算负载AI、探查分析、数据挖掘Batch、交互式、BI和可视化企业级能力灵活性数据湖 VS.数据仓库业务规模总体拥有成本（TCO）特定规模前，数据湖灵活性占优，之后数仓成长性占优客户如何才能同时享受数据湖的灵活性和云数据仓库的成长性？数据湖云数据仓库登月数据仓库和数据湖系统的增长曲线统一元数据视图跨平台高速网络湖仓统一开发平台湖仓统一数据管理与治理湖仓集成共享数据DataWorks统一任务调度数据仓库数据湖智能Cache+查询加速内置存储HologresMaxComputeE-MapReduceData Lake FormationOSSHDFS湖仓智能数据分层 更易用的湖仓开发体验DataWorks发布湖仓一体主页，实现基于异构数据平台的一站式数据开发、管理和治理体验从提交工单开通模式升级为自助开通模式，实现分钟级打通数仓与数据湖 更广泛的生态对接从支持 HDFS 数据湖扩展到支持阿里云 DLF+OSS 数据湖方案，全新支持Delta Lake、Hudi 等主流数据湖格式支持和外部数据源整库级别联邦(RDSUpcoming！)更高的性能全新支持智能 Cache+MaxCompute内置查询加速引擎，使数据湖查询性能提升 10+倍以上 更丰富的数据类型新增非结构化数据的湖仓管理能力。MaxCompute对OSS上非结构化数据进行映射和管理，方便客户灵活的对湖上各种类型数据进行处理、分析和权限管理（Upcoming!）阿里云湖仓一体云数仓2.0升级发布分析服务一体化实时数仓趋势解读数据加工敏捷化数据服务在线化分析服务一体化传统Lambda架构“纷繁芜杂”，数仓建设之痛KafkaFlink维表关联ClickHouseDruid架构复杂数据同步难资源消耗大数据孤岛人才培养难开发成本高不敏捷HBaseRedisReportsDashboardsAPIApplications实时写入传统实时数仓Lambda架构HiveMaxComputeODS数据加工敏捷化状态存储统一：基于Hologres构建实时数据统一状态层，减少数据搬迁公共层加工：Flink+Hologres Binlog，有状态的全链路事件实时驱动开发应用层加工：视图View封装业务逻辑，提供敏捷与开发效率，将灵活性从工程师交还给分析师Holo BinlogHolo Binlog业务数据库MySQL/PGFlinkRDS BinlogFlinkFlink实时风控实时大屏View离线数仓MaxCompute周期数据回刷DWDDWSADS公共层加工应用层加工数据服务在线化在mission-critical应用中扮演关键角色领导驾驶舱实时大屏洞察业务变化 精细化运营 数据分析民主化 实时数仓 实时用户画像 实时个性化推荐 实时风控ToC:提效在线转化ToB：支撑数据决策 高可用 高并发 低延时/低抖动 热升级/扩容 弹性 可观测、可运维 安全、可审计在线化驱动可靠性设计高并发/低延迟行列共存Shard级多副本，高QPS、吞吐线性扩展高QPS非主键点查（行列共存+多副本+引擎优化）热升级/快恢复支持不停服热升级硬件故障10X恢复速度（元数据物理备份+存储 lazyopen）极致弹性/隔离计算资源隔离简化部署容器模板，提高POD资源利用率读写分离，分析服务互不影响，已在大促场景得到验证安全/可靠数据加密数据脱敏Query Log，慢查询自助分析分析服务一体化简化数据服务出口行存dwsdim列存dwsdwd实时写入离线写入ReportsDashboardsAPIApplications线上服务OLAP分析 业务敏捷响应 数据自助分析 避免数据孤岛 赋能数据服务 简化运维管理（Hybrid Serving/Analytical Processing,HSAP)分析服务一体化HSAP资源隔离，高可用，无限弹性，统一存储Shard1Shard2Shard3Shard4Pangu File SystemShard1Shard2Worker NodeShard3Shard4Worker NodeFrontend读写主实例加工负载写入负载Shard1Shard2Worker NodeShard3Shard4Worker NodeFrontend只读从实例报表服务灵活分析Worker NodeShard1Shard2Shard3Shard4Frontend只读从实例在线点查既支持同一实例内部的资源组隔离（线程级别隔离），也支持共享存储多实例（物理级别隔离）高可用模式多实例同Region部署共享存储，实时高可用，多Region部署数据自动复制，秒级灾备计算资源物理隔离，实例之间故障隔离，主实例最多4个子实例，支持系统高可用部署弹性计算层共享存储层DataWorks全链路数据治理阿里云DataWorks 业务全景阿里云DataWorks，历经阿里巴巴12年数据中台建设的沉淀与打磨的一站式大数据开发与治理平台，支撑了公共云和混合云数千家私企、国企、央企、政府和组织的“数字化转型”新零售金融营销物流出行大文娱搜索推荐阿里及蚂蚁集团业务阿里云业务数据集成数据开发与分析数据治理数据服务|一站式大数据开发及治理平台MaxComputeE-MapReduceFlinkHologresCDH/CDP大数据开发与治理计算引擎|2 0 2 1 年 云 栖 大 会 十 大 核 心 技 术 代 表数据建模公共云互联网/金融/零售/教育/汽车/工业制造/用户增长智能推荐在线营销智能决策数据大屏数据应用混合云数字政府/金融/能源电力/交通/公安/工业制造/城市大脑行业数据中台智慧交通智慧医疗智慧警务智能制造阿里云DataWorks 产品架构规范设计数据开发数据集成开放平台开放接口开放消息扩展点与扩展程序业务场景实时同步整库迁移分库分表同步增量同步全量同步数据指标数仓规划数据标准维度建模ER建模（Datablau）任务运维和监控任务统一调度离线/实时/交互式分析/AI一体化集成开发环境交互式分析引擎（Hologres/AnalyticDB)开源大数据平台（CDH/CDP）开源数据湖计算平台（E-MapReduce）阿里自研大数据计算服务（MaxCompute）数据服务低代码化数据API构建服务编排API网关数据转换数据分析自助分析电子表格Notebook数据治理开放数据检查器(事前预防)数据治理中心治理项(事后发现)问题处理方案健康分评估模型数据质量质量规则模板智能规则推荐动态规则阈值离线表、消息通道数据资产地图元数据采集数据目录和检索全链路数据血缘影响分析数据安全数据权限管理数据分级分类隐私数据保护风险预警访问审计政务云/城市大脑行业数据中台智能搜索/推荐/广告数据报表/大屏车联网/智能制造数据分析与应用用户增长/分析/营销计算存储引擎企业数仓建设从“精益生产”到“敏捷制造”从“小步快跑，快速满足需求为先”到“规范化，可持续发展”的数仓建设理念转变以面向开发视角自底向上构建数仓为主数据集成数据开发数据治理数据分析数据服务数据应用数据集成数据开发数据治理数据分析数据服务数据应用数据指标维度建模数据标准数仓规划面向业务视角自顶向下进行规范建模与面向开发视角自底向上构建数仓双管齐下，相辅相成NowBeforeDataWorks 智能数据建模基于Kimball维度建模理论与阿里巴巴数据中台建设方法论构建，有效帮助企业实现规范化与可持续发展的数仓建设数仓规划数据标准维度建模数据指标没有数据标准，让数据模型无据可依，难以让模型符合规范，给数据质量埋下巨大隐患缺乏数据模型设计，或者采用文档等形式来设计数据模型，难以持续维护，难以与线上系统保持一致性数据指标依赖手工编写代码创建，指标口径难以统一，指标难以复用支持从业务抽象到数仓顶层规划，包含数仓分层、数据域、业务过程等数据字典、标准代码、度量单位定义支持与数据质量规则无缝打通可视化数仓维度建模与逆向建模同时支持基于Excel与DSL语言快速建模原子指标、派生指标定义与构建确保指标口径统一，高效复用企业数据建模痛点DataWorks智能数据建模产品产品核心特性数据仓库结构混乱，权责不清，缺乏对数据域和业务过程的合理规划DataWorks 智能数据建模DEMO数仓规划：数据仓库的顶层设计，可实现对数仓公共层及应用层模型的分层化域管理，定义数据域、业务过程、数据维度等数据标准：提供统一的规范约束，保障数据模型定义和使用的一致性、准确性和完整性维度建模：可视化维度建模工具，支持多种大数据引擎的正向和逆向建模工作数据指标：确保业务口径统一的利器，支持原子指标与派生指标的定义，实现指标的高效复用企业数据治理的挑战DataWorks实现数据治理的“问题发现-问题治理-治理成效评估”，让企业数据治理逐步进入“自动化数据治理”阶段企业数据治理的挑战数据治理效果不易评估，业绩如何体现？问题治理治理成效评估问题发现DataWorks数据治理解决方案DataWorks 数据治理中心基于问题驱动的方式，覆盖事前、事中、事后的全链路主动式数据治理，通过数据治理健康度评分模型实现可持续数据治理研发规范健康分数据质量健康分数据安全健康分计算资源健康分存储资源健康分命名规范检测注释检测运行时长检测分区检查distinct检查select*检查禁用insert into未配质量规则表检查告警未处理表检测基线任务质量规则检测指定规则未配置检测脏数据检测质量规则覆盖度检测连续告警检测数据下载控制数据保护模式数据存储加密安全访问模式数据源访问控制开发生产数据源隔离成员与角色控制费用消耗检测任务参数不合理检测简单加工检测产出表未被读取检测输入为空检测数据倾斜检测暴力扫描检测空表检测无生命周期表检测长时间未访问检测表大小检测重复表检测表引用次数检测无效表检测数据治理健康度五维评分模型DataWorks 数据治理中心DataWorks 数据治理中心DEMO通过数据治理健康分，实现可持续运营的企业数据治理过程，让数据治理不再是企业的“阶段性项目”为管理员提供丰富的管理、运营功能，查看全局、工作空间、个人不同维度的治理健康度情况DataWorks全链路数据综合治理体系全览和实施路径数仓规划数仓分层设计数仓权限规划数据标准业务单元、数据域、数据字典、码表、度量模型设计模型设计ODS,DWD,DWS,ADS维度表、事实表主数据管理主数据模型、参考数据主数据编码规则主数据接入数据开发在线协同开发、智能提示多任务类型运维调度任务调度、智能运维基线监控、报警统一元数据采集&存储业务元数据指标元数据维度元数据技术元数据表结构存储大小产出信息管理元数据所有者访问权限安全等级数据地图元数据管理数据权限管理安全等级、安全策略申请、审批、审计敏感数据保护数据分级分类敏感数据识别和保护数据脱敏数据质量管理数据质量规则数据质量监控质量问题处理和分析数据资产管理资产全景资产概览资产血缘和分布资产检索生命周期管理生命周期管控数据归档、销毁机制资产运营资产价值评估资产成本估算数据资产服务资产共享交换数据治理中心检查项（事前预防）治理项（事后发现）处理指南知识库健康分模型事件工单治理成效数据治理组织和运营组织角色制度流程DataWorks 开放平台全新升级，释放更多自定义能力在OpenAPI的基础之上，全新推出开放事件、扩展点（Hook）与扩展程序能力，可实现自定义DataWorks的流程控制能力扩展程序（Extensions）扩展点（Extension Points）DataWorks 开放平台生态伙伴 SaaS行业数仓建模行业数据治理搬站上云分销商对接系统集成效能提升联合解决方案数据安全行业业务场景开放接口（Open API）开放事件（Open Event）订阅消息订阅消息回调API调用APIDataWorks 数据开发与治理平台观看回放：https:/