Lindorm TSDB 产品简介.pdf

Lindorm TSDB 产品简介产品简介阿里云阿里云数据库数据库产品架构关键技术时序模型应用案例CONTENT产品架构产品架构01Lindorm 整体架构整体架构Lindorm TSDB 引擎架构引擎架构云原生分布式存储 Lindorm DFS 标准型、性能型、容量型等多种类型存储、自动冷热分离WAL 日志时序索引数据 TSFile内存 ChunkTSCore时序降采样时间线聚合TSCompute时序预测异常检测时序计算集群管理Time Range+Hash 分片，弹性伸缩认证鉴权查询优化执行引擎OSS API兼容 OpenTSDB、InfluxDB 开源生态Native APILindorm SQL（时序特色SQL，多模统一访问）TSCore高性能轻量化边缘部署易集成边云同步本地存储SyncManager时序定制引擎，高并发写入、高压缩率内置时序计算引擎，时序特征算子WAL 日志时序索引数据 TSFile内存 ChunkTSCore时序定制引擎，高并发写入、高压缩率Lindorm TSDB：面向物联网、工业互联网、应用监控场景的高性能时序引擎：面向物联网、工业互联网、应用监控场景的高性能时序引擎Lindorm TSDB EdgeLindorm TSDB 核心特性核心特性开放融合开放融合兼容开源时序协议、支持 ANSI SQL 访问多模融合，满足多类型数据一体化存储需求弹性伸缩弹性伸缩轻松扩展至每秒千万点写入、PB级存储Serverless 弹性伸缩，按需使用、按量付费高性价比高性价比自研时序存储引擎，高并发写入，10:1时序压缩云原生分布式存储，多类型存储，自动冷热分离时序计算时序计算支持时序聚合、降采样、插值、预测等算子边云融合，边缘数据全量、增量同步到云端时序模型时序模型02Lindorm TSDB 时序模型时序模型theIPAPPtimetemperaturehumidityF07A1260#ALL#2020-10-24T00:00:10Z12.145F07A1260A2020-10-24T00:00:20Z13.247F07A1260B2020-10-24T00:00:30Z10.646F07A1260B2020-10-24T00:00:10Z18.136F07A1260B2020-10-24T00:00:20Z19.739Table 表名Tag设备/数据源Field数据内容Timestamp数据时间戳where iP=and 时序模型时序模型SQL 访问访问基本查询SELECT avg(humidity)FROM sensor WHERE device_id=xxx AND time t1 AND time t1 ANDtime t2 SAMPLE BY5m;时序最新值查询SELECTlatest(f1)FROMsensorWHEREdevice_id=xxx;创建时序表CREATE TABLE sensor(device_id VARCHAR TAG,region VARCHAR TAG,time TIMESTAMP,temperature DOUBLE,humidity DOUBLE,PRIMARY KEY(device_id);写入数据INSERT INTO sensor(device_id,region,time,temperature,humidity)VALUES(F07A1260,north-cn,1619076780000,12.1,45);时序模型示例时序模型示例-业务视图业务视图风力发电机1ID:7AD45EC型号：V110_20厂商：VetasTable:wind-generators风力发电机2ID:7AD45EE型号：V110_20厂商：Vetas风力发电机3ID:92CE73A1型号：GW_115_20厂商：KingWind功率风速功率风速功率风速TimeSeries2020-10-24T00:00:10Z2020-10-24T00:00:20Z10.16181011.24168011.241800191212.12176411.32197410.85数据点（Data Point）时间线Time SeriesID、型号、厂商三个 Tag功率、风速两个 Field时间戳时序模型示例时序模型示例-数据视图数据视图ID型号型号厂商厂商time功率功率风速风速7AD45ECV110_20Vetas2020-10-24T00:00:10Z180011.247AD45ECV110_20Vetas2020-10-24T00:00:20Z191212.127AD45EEV110_20Vetas2020-10-24T00:00:10Z168011.247AD45EEV110_20Vetas2020-10-24T00:00:20Z175411.3292CE73A1GW_115_20KingWind2020-10-24T00:00:10Z181010.1692CE73A1GW_115_20KingWind2020-10-24T00:00:20Z197410.85Table：wind-generators 存储所有风机的运行指标信息Tag设备/数据源Field数据内容Timestamp数据时间戳时序模型示例时序模型示例-典型查询典型查询风力发电机1ID:7AD45EC型号：V110_20厂商：Vetas风力发电机2ID:7AD45EE型号：V110_20厂商：Vetas功率风速功率风速11.24168011.241800191212.12176411.32查询型号=V110_20 的设备，在 t2-t4 时间范围，运行风速指标原始值/总和/平均值/最大值/最小值/降采样/插值18121813缺失1900182210.0410.1811.2411.35缺失1808191217641846186410.3410.3810.9810.8611.12t1t2t3t4t5t6t7哪些数据源/设备什么时间段/点？哪些指标？做什么操作？查询 ID=7AD45EC 的设备，在 t1-t7 时间范围内，运行风速指标原始值/总和/平均值/最大值/最小值/降采样/插值哪些数据源/设备什么时间段/点？哪些指标？做什么操作？应用案例应用案例03典型应用场景典型应用场景200,000 设备 x 60项监控指标每秒 1,200,000 点写入，每小时73.8GB 数据查询 200,000 设备最新的某个指标查询指定的 10 设备，10个指标，1天、7天、1个月的平均值10,000 实例 x 200项监控指标每秒 2,000,000 点写入查询指定实例部分监控指标监控指标按条件聚合查询监控异常分析，未来趋势预测90,000,000 用户 x 20项监控指标，每月采集一次指标，每年216亿测点查询所有用户每月用电量总和查询所有用户的指定指标查询各区域/线路总使用情况（按需聚合）智慧家居工/农业大脑智能电网应用监控智能家居（IoT）电网（工业互联网）应用监控（APM）P应用案例应用案例-云原生应用统一监控云原生应用统一监控Lindorm TSDBPrometheus Remote WritePromQL监控数据采集监控数据采集监控数据采集PrometheusPrometheusPrometheusOSS自动冷热分离 支持 Prometheus Remote Write，实现监控数据统一存储 时间分区索引，解决云原生场景时间线膨胀问题 兼容 PromQL 查询协议，通过 Grafana 实现统一监控视图 冷热数据分离，冷数据自动归档到低成本OSS存储 支持预降采样，支持长周期数据的实时查询访问APPAPPAPPPromQL兼容Grafana典型客户：得物、虎牙、阿里云ARMS采集存储可视化分析Prometheus 是云原生监控的事实标准L应用案例应用案例-物联网平台统一数据存储物联网平台统一数据存储典型客户：阿里云 IoT 平台、XX智慧物联设备运行时数据设备元数据设备音视频图片设备检索Lindorm 时序引擎Lindorm 宽表引擎Lindorm 文件引擎Lindom 搜索引擎物联网设备统一数据管理平台云原生多模数据库 Lindorm 多类型数据统一融合存储 弹性伸缩，冷热数据分离存储 兼容开源生态，统一数据分析计算分析SparkMaxComputeFlinkIoT设备P应用案例应用案例-工业边云一体时序存储工业边云一体时序存储Lindorm TSDB CloudJDBCLindorm TSDB EdgeOSS自动冷热分离 边缘轻量化部署，管理维护简单，支持自动同步到云端 云端集中式存储，弹性伸缩，冷热数据分离存储 ANSI SQL 支持，对接开源计算引擎，统一数据分析边缘数据采集典型客户：阿里云工业大脑、XX油田、XX电力边缘数据采集边缘数据采集Lindorm TSDB EdgeLindorm TSDB EdgeLTS边缘时序存储云端统一时序存储集中式分析处理LTSLTSMaxCompute边云同步通道核心技术核心技术04核心技术核心技术-弹性伸缩弹性伸缩Lindorm TSDB Router基于时间范围分片基于设备/时间线 Hash 分片Node ANode BNode C集群增加节点 C扩容前路由表数据分布存储到2个节点Shard Group1T1,T2)shard1,shard2扩容后路由表新写入数据分布存储到3个节点Shard Group2T2,T3)shard3,shard4,shard5Shard Group1T1,T2)shard1,shard2多维分片：水平方向 Hash 分片，垂直方向时间范围分片。无缝扩容：增加节点，新时间范围使用新路由表，无需迁移数据。云原生分布式存储 Lindorm DFSShard3Shard1Shard2Shard5Shard4核心技术核心技术-高性能时序存储引擎高性能时序存储引擎Memtable(Active)Time Series Data&IndexMemtableTime Series Data&IndexWALWrite requestSeriesInverted IndexTSFileFlush&CompactionSwitchRead requestTime series specific format andcompaction strategyBuilt-in Stream ProcessPre-downsample/aggregationReal-time stream feedWALWALSeriesSeriesTSFileTSFileInverted IndexInverted IndexS核心技术核心技术-时序定制压缩时序定制压缩时序数据压缩：通过 Delta-of-Delta、Xor、ZigZag、RLE 等压缩算法对时间序列进行压缩，最高可达 15:1 压缩比日志文件压缩：写入时，对 WAL 日志进行压缩，降低IO 总量，最大化写入吞吐。内存数据压缩：时序数据在内存 buffer 进行压缩存储，让内存存储尽可能多的数据。数据文件压缩：对持久化存储的时序数据进行编码压缩，降低存储成本。2021-10-2402:02:022021-10-2402:03:02Value:246212-20011:11:1:16414649112+5+6+1原始数据流压缩后数据2021-10-2402:01:02Value:12Header:2021-10-24 02:00:00Value:12存储空间（bit数）核心技术核心技术-冷热分层存储冷热分层存储冷热分层存储：内存、磁盘（本地盘/云盘）、OSS 分层存储，成本降低 50%本地磁盘/云盘时序引擎内存阿里云 OSS 热温冷热数据：近期热数据缓存在内存，保障高效访问；基于时序特性，一份 Cache 同时用于读写。温数据：内存数据存储到磁盘持久化，根据应用场景，可选择标准型、容量型、性能型等不同特性的存储。冷数据：长期不访问的历史数据，支持自动归档到 OSS 冷存储。最近6小时最近3个月三个月以前核心技术核心技术-时序数据预处理时序数据预处理查询最近1小时数据查询最近1天数据查询最近1周数据Data（15分钟降采样）保留最近3年Data（1分钟降采样）保留最近3年Data（原始数据）保留最近3个月1m(sum,count,max,min 15m(sum,count,max,min)原始数据(In Memory)1分钟降采样原始数据15分钟降采样内置预处理引擎：数据刷盘时根据预定义规则提前计算、独立存储；查询直接访问预处理后的数据，查询性能提升10+倍。自定义保留策略：不同采样周期的数据定义不同的存储策略，最低成本保证业务体验。核心技术核心技术-边云融合边云融合Lindorm DFSLindorm TSDB EdgeLocal StorageLTS 边云同步支持全量、增量同步模式Lindorm TSDB CloudLindorm TSDB EdgeLocal StorageDataFileDataFileDataFileDataFileLog StreamData Stream数据统一汇聚到云端存储在/离线分析处理边缘轻量化就近部署存储近期数据MaxCompute核心技术核心技术-机器学习时序预测（预览）机器学习时序预测（预览）Pre-Processing&TrainModelOptimize模型训练引擎LindormML通过 SQL 拉取训练数据借助机器学习平台完成训练多模数据库 Lindorm模型导入 Lindorm 集群SQL UDF 方式支持数据库内推理CREATE MODELFROM(SELECT x,y,z FROM)TARGET zFUNCTION predict_sales 用户可以通过 Lindorm，执行 CREATE MODEL 语句创建机器学习模型；Lindorm ML 模块负责模型训练，并将模型部署到数据库内，用户可通过 SQL 函数调用模型进行推理；也支持用户导入外部训练好的模型（BYOM)。创建训练任务SELECTpredict_sales(x,y)FROM 1创建模型模型推理54326请求转交信通院产品能力评测信通院产品能力评测性能评测稳定性评测功能评测竞品对比竞品对比05业界对比业界对比对比项对比项Lindorm TSDBInfluxDBOpenTSDBTDEngineTimescaleDB查询语言查询语言SQL、OpenTSDB、PromQLInfluxQLOpenTSDBSQL likeSQL性价比性价比读写性能、存储成本读写性能、存储成本高高高一般高一般压缩压缩时序压缩时序压缩+通用压缩通用压缩时序压缩通用压缩时序压缩+通用压缩时序压缩+通用压缩数据模型数据模型多值模型多值模型单值模型多值模型多值模型多维检索多维检索支持支持支持支持存在高基问题通过超级表弱化不支持高可用高可用支持开源版不支持支持依赖HBase支持商业版本支持基于 PostgreSQL横向扩展横向扩展支持支持商业版本支持依赖HBase支持商业版本不支持预降采样预降采样支持支持支持较弱不支持不支持不支持边缘版本、边云同步边缘版本、边云同步Lindorm TSDB Edge无无无无主打领域主打领域APM、IoT、IIoTAPMAPMIoTAPM、IoT迁移案例迁移案例-某直播平台业务监控某直播平台业务监控业务场景：应用业务监控，OpenTSDB业务关键亮点：采用预降采样解决长周期查询迁移前后对比LindormTSDBOpenTSDB写入性能（TPS）200w48w存储空间（24h）50G125G查询case11.76s4.2s查询case25.3s91s查询case318ms744ms7天周期查询3.3s无法查询50%的成本，4倍的性能迁移案例迁移案例-某证券公司某证券公司业务场景：应用业务监控，OpenTSDB业务关键亮点：稳定性、高性能迁移前后对比LindormTSDBOpenTSDB机器（Core）176636存储空间4T7.2T写入性能（TPS）Telnet非batch写入50w8wCPU消耗（查询）40%100%大量查询稳定运行，横向扩容HBase打爆，需要手动分区40%的成本，6倍的性能迁移案例迁移案例-某游戏公司某游戏公司业务场景：机器监控，OpenTSDB业务关键亮点：采用预降采样解决长周期查询，稳定性要求高迁移前后对比LindormTSDBOpenTSDB2月数据查询秒级返回无法查询稳定性高大查询影响服务