一种基于ClickHouse的日志分析系统设计.pdf

-67-CHINA SCIENCE AND TECHNOLOGY INFORMATION Mar.2024中国科技信息 2024 年第 6 期两星推荐随着大数据时代的发展，每天都要产生大量的日志数据。日志数据包括多种类型。系统日志：系统运行过程中所记录的信息，它反映了系统的内部状态和事件。对于整个网络管理系统来说是不可缺少的部分，例如 Unix/Linux 系统日志。事务处理日志：用于保证数据库的事务一致性、完整性和正确性。其主要内容包括对数据的修改操作等。日志文件：软件回滚或数据安全后备而产生的信息。其存放了对系统环境改变的重要的操作信息如用户输入，系统内部的存取存储，删除修改的数据以及用户的登录情况等。这些内容有助于管理员找出产生错误的原因并恢复到以前的某个备份状态。网络设备日志：包括路由器、交换机、服务器的日志等多种类型，其中最常见的是网络设备的访问控制列表配置出错日志。应用程序日志：它是应用程序所产生的调试和处理信息的地方，主要是针对应用的管理人员或者维护人员使用的，用来诊断问题原因和提高效率等用途。在生产环境中一般被禁用以防止可能的问题发生。安全审计日志：它主要包含所有进出网络的会话信息和活动，这包括了源地址、目的地址、协议类型（TCP/UDP）、端口号等信息。主要用于事后追踪和分析入侵行为以及对非法操作的记录以便于做出响应解决问题。Web 服务器日志：这种日志通常包含了客户端请求Web 服务的详细信息，比如 HTTP 方法、URL 路径、传输协议响应代码、响应时间等；同时也会包含一些其他的信息如客户端 IP 地址、用户名等也可能存在。日志数据是软件系统中运行时的系统状态和关键事件的记录。它的价值主要体现在以下几个方面。异常检测：开发人员利用日志数据来获取系统状态、检测异常和定位根本原因。系统健康、稳定性和可用性的增强：通过在大量日志数据中挖掘日志信息，结合数据驱动的方法，可以帮助增强系统的健康、稳定性和可用性。用户行为分析：日志数据可以反映用户对产品的满意程度、活动参与情况、流失率、营销效果等信息。系统监控和诊断：日志数据记录了系统或应用程序在执行过程中的每个事件的明细详情，帮助工程师定位问题。统一管理和应用：日志数据的价值需要统一管理和应用，以实现其最大潜力。行业曲线开放度创新度生态度互交度持续度可替代度影响力可实现度行业关联度真实度一种基于 ClickHouse 的日志分析系统设计方 华方 华南京理工大学紫金学院方华（1980），江苏盐城，硕士，工程师，研究方向：数据分析，数据挖掘，知识图谱。中国科技信息 2024 年第 6 期CHINA SCIENCE AND TECHNOLOGY INFORMATION Mar.2024-68-两星推荐ClickHouseClickHouse 是俄罗斯的搜索巨头 Yandex 公司开发的面向列式存储的关系型数据库（DBMS），于 2016 年开源，使用 C+编写的，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。ClickHouse 是一个高性能、灵活、易用、可靠且拥有活跃社区支持的列式数据库管理系统。它具有以下特点：高性能：ClickHouse 采用列式存储和向量化执行引擎，使得它在处理大规模数据时具有高性能。它能够高效地处理复杂的查询和实时分析，特别适合于 OLAP 场景。灵活性：ClickHouse 支持多种数据类型，并允许用户自定义数据类型。它还提供了丰富的数据聚合和查询功能，以及灵活的数据分区和复制策略。易用性：ClickHouse 的语法和功能设计简洁明了，易于学习和使用。同时，它还提供了友好的用户界面和丰富的工具集，方便用户进行数据管理和分析。可靠性：ClickHouse 具有高可用性和可扩展性，支持主从复制和分布式部署，能够保证数据的可靠性和一致性。社区支持：ClickHouse 有一个活跃的社区，提供了丰富的资源和支持，可以帮助用户解决遇到的问题。基于 ClickHouse 具有以上一些特点，不少公司尝试从原有的数据分析系统迁移到 ClickHouse 上。如 eBay基于 ClickHouse 对于 K8S 的数据进行分析，Uber 基于ClickHouse 进行日志分析等。系统设计与实现系统总体架构系统总体架构包括日志收集，原始日志存储，日志事件处理，日志数据库，归档日志存储，联机分析应用等模块。每个模块的功能如下。（1）日志收集模块：搜集各个模块的日志。（2）原始日志管理：管理和存储日志。（3）日志消息处理：Lambda 事件处理以及 Redis数据文件检查。（4）日志数据库：基于 ClickHouse，存放短期数据用于实时查询。（5）归档日志管理：存放相对长期的数据，用于历史数据查询。（6）联机分析应用：流量监控，异常处理，日志查询等。表 1 系统操作步骤步骤操作1收集各个节点的日志，存放到 AWS S3 上2AWS S3 有日志文件上传，触发日志上传事件3调用 ClickHouse 接口插入数据4ClickHouse 数据库插入操作5超过阈值数据进行归档处理，阈值数据根据业务需求定义6超过阈值数据进行自动清理，阈值数据根据业务需求定义7联机事务处理：实时数据查询，历史数据查询，流量分析，异常检测等日志搜集模块（Fluentd Bit）日志搜集模块用于搜集各个计算节点的日志数据，并按照特定的格式输出到指定的位置上。常见的日志收集框架包括Fluentd，Logstash，Sumo Logic，Loggly，Graylog等。本文以Fluentd Bit为示例描述日志搜集模块的设计与实现。Fluent Bit 是 Fluentd 旗下的 CNCF 子项目。具有高性能、低资源消耗和可扩展性等特点。Fluent Bit 数据流通常包括如下步骤。Input：这是数据的入口，可以收集、接收数据。Parser：把从 Input 接口接收到的非结构化数据转为结构化数据。Filter：可以修改 Input 接口收到的数据。Buffer：默认情况下，由 Input 插件接收的数据驻留在内存中并统一路由发送到 Output 接口。Routing：进入 Input 接口的数据会被打上 tag，根据匹配到的规则路由到目的地。Output：定义数据的目的地。日志存储（AWS S3）日志以文件格式基于 AWS S3 进行存储。AWS S3 全称为 Amazon Web Services Simple Storage Service，是 Amazon Web Services 提供的一个对象存储服务。AWS S3 提供了高可用性、可扩展性和持久性的存储服务，适用于存储各种数据类型，包括文本、图片、视频、音频等。S3 支持多种日志事件的处理如新的对象创建，对象移除，还原对象，低冗余存储（RRS）对象丢失，复制，生命周期到期，生命周期转换，自动归档，对象标记事件，对象 ACL 变化等。当新的日志文件上传到 S3 时，S3 触发对象创建消息，并将消息发送到后续模块中处理。消息处理（AWS Lambda）AWS Lambda 是 AWS 提供的一种无服务器计算服务，允许用户上传代码并在 AWS 基础设施上运行。用户无需预配置或管理服务器，只需要关注编写代码。Lambda 的触发器可以是外部事件，例如 API Gateway、SNS、S3、DynamoDB 等。Lambda 的特性包括：无需管理服务器：用户只需上传代码，Lambda 会自动处理服务器的部署、扩展和高可用性等问题。事件驱动：Lambda 函数只在特定事件发生时触发。按需付费：根据使用量付费，即实际运行的函数次数、执行时间以及所使用的存储空间。Lambda 对于事件代码处理流程如下。初始化，检查 Redis 服务器状态。收到系统发送的 S3 对象创建消息获取 S3 对象 URI，检查 Redis 数据库该文件是否已经处理，如果已经处理则结束改次调用。调用 ClickHouse 数据库接口做数据导入的操作，导入过程为异步操作。在 Redis 数据库中标志该文件处理状态。-69-CHINA SCIENCE AND TECHNOLOGY INFORMATION Mar.2024中国科技信息 2024 年第 6 期两星推荐日志数据库（ClickHouse）ClickHouse 是一个用于在线分析处理查询（OLAP）的 列 式 存 储 数 据 库 管 理 系 统（DBMS），由 俄 罗 斯 的Yandex 于 2016 年开源。本节以 App 日志为示例说明ClickHouse 数据库的数据库定义以及基本操作。数据库格式定义如下为数据库格式定义，用于记录每个 App 使用的基本信息。表 2 App 日志格式定义字段类型字段说明UUIDString唯一 IDTimestamp DateTime操作发生的时间AppNameString发生事件的 App 的名字EndpointString应用访问的云端服务器的 URI 的地址ParameterStringURI 对应的参数DurationFloat32接口调用需要的时间HttpCodeString服务器端返回的状态如：200，404，500 等数据库操作（表的创建，增加，删除）ClickHouse 支持基于 SQL 的声明性查询语言。基于表 2 定义的数据格式 SQL 查询语句如表 3。表 3 SQL操作语句操作SQL 语句示例表创建#创建 App_LogTableCREATE TABLE BAO.App_LogTable（UUID String，Timestamp DateTime，AppName String，Endpoint String，Parameter String，Duration Float32，HttpCode String）ENGINE=MergeTree ORDER BY AppName；数据插入#输入 S3 中的数据INSERT INTO App_LogTable SELECT*FROM s3（S3 address，TabSeparatedWithNames）数据查询#对 app 进行分组，并计算流量select appName，count（*）from app_logTable group by appName 数据存储ClickHouse是一种列数据库，以列式对数据进行存储。列式压缩对于联机分析处理存在以下优点。数据压缩：列式存储由于将相同的数据类型（同一列的数据）放在一起，通常更容易压缩。I/O 优化：对于分析型查询（例如，计算一个列的平均值），列式存储只需要读取相关的列，不需要加载整个行的数据。这大大减少了磁盘 I/O，从而提高查询性能。更好的缓存利用率：由于只需要加载和处理相关的列块，这样在 CPU 或内存缓存中，与查询相关的数据可以得到更好的缓存利用。向量化操作和并行计算：列式存储往往与向量化处理相结合。由于列数据是连续存储的，很容易利用 SIMD（单指令多数据流）指令集对数据进行并行操作。同时，不同的列可以独立地并行处理。ClickHouse 对外接口ClickHouse 支持多种类型的接口对数据进行操作，如：命令行客户端，原生接口（TCP），HTTP 客户端，MySQL 接口，输入/输出格式，JDBC 驱动，ODBC 驱动，C+客户端库。系统设计和实现中通过 HTTP 接口提供 ClickHouse 对外的数据插入，查询操作。日志归档模块（AWS S3）日志归档模块同样使用 AWS S3 的服务完成。日志归档模块根据业务需求存储特定时间段的日志格式，当日志超过业务所需的时间阈值时对过期日期进行自动清理工作。联机分析应用常用的联机分析应用包括用户行为分析，日志查询，流量监控，异常报警等。数据存放到 ClickHouse 之后，可以方便的通过各类 BI工具构建可视化分析应用。许多流行的 BI 和可视化工具都连接到 ClickHouse 如 Grafana，Tableau，Superset 等。结语本文提出了一套以 ClickHouse 为数据存储，同时使用AWS lambda 以及 AWS S3 以应用日志为处理对象的日志分析系统，该系统能够较好的完成日志分析的任务。下一步的研究方向是基于标准数据集对于系统做进一步的测试并和同类的数据库如 InfluxDB，TimescaleDB，KDB+等进行对比做进一步的分析。