浅谈oracle数据库assm模式及高水位线优化.pdf

22|INFORMATION INDUSTRY信息前沿INFORMATION FRONTIER随着全球信息技术的快速发展和大数据时代的到来，各种新概念如云计算、互联网+、人工智能、数字孪生、元宇宙等开始兴起。据预测，到 2025 年，全球的数据量将达到 175ZB（约 1900 亿 TB），并且还在以几何式增长。这个趋势导致对数据库技术的需求不断升级。Oracle，作为数据库领域的重要玩家，以其高可用性、高并发性、高安全性和高效率而广受欢迎。特别是在 B/S 或 C/S 架构的数据库中，Oracle 是最流行的选择之一。随着用户需求的持续增长，Oracle 的自动段空间管理技术(ASSM)对于提高存储性能、管理高水位线（HWM），以及优化数据检索性能和空间碎片整理起到了关键作用。1.Oracle 的存储结构首先简单介绍下 Oracle 的存储单位，大致可以分为以下四个层次从小到大：块(Block)：这是数据库存储管理的最小单位，通常默认为 8KB，但在不同操作系统下可能有所不同。块有多种类型，如bitmap block、segment header block、data block 等。区(Extent)：区包含一组连续的块，是数据库分配或释放空间的最小逻辑单位。区的大小和所包含的块数量是不定的，这使得 Oracle 在管理空间时能够比直接操作块更高效。浅谈 oracle 数据库assm 模式及高水位线优化 文/张德奔段(Segment)：在数据库中，通常每个对象（如 table、index、cluster）都对应一个段，由多个区组成。如果对象是分区表，由于存在不同分区，会对应多个段。表空间(Tablespace)：这是数据库存储的最大结构。建立表空间需要指定一个或多个数据库文件及大小。因此，通过合理分配数据存储和将对应文件分布在不同设备上，可以实现负载均衡并提高性能。2.Oracle 的空间管理策略MSSM:在 Oracle 9i 版本之前，段空间管理使用的是手动段空间管理（MSSM）。它使用空闲列表（freelist）进行段内的空间管理。当数据库对象的某块被使用时，Oracle 会根据设定策略来更新空闲列表中的块地址。当空闲列表中的某块空闲部分小于 pctfree 值时，该块会被从空闲列表中移除。反之，如果某块使用部分小于pctused 值，它会被重新添加到空闲列表。虽然 MSSM 可以通过参数指导段空间的分配、使用和重用，从而提高效率，但也存在一些缺点。例如，如果 pctused 值设置过大，可能导致空间浪费，设置过小则可能导致 UPDATE 操作因空间不足而出现行迁移问题。此外，每个事务提交 DML操作时都需要访问 freelist，这可能导致竞争，即使可以使用多个 freelists 和 freelist group 来缓解竞争，但仍可能成为 Oracle性能瓶颈。在 Oracle 9.2.0 中，Oracle 引入了自动段空间管理（ASSM）以提高空间管理的性能。ASSM 不再使用 freelists，而是采用更复杂且性能更高的三级位图（bitmap）进行管理。在具体的示例中，当在 Oracle 11gr2 版本中创建表 test1 并插入一条数据后，可以通过检查 dba_extents 视图看到，表 test1 被分配了以 2035488 号开头的连续 8 个块。对应的 trc 文件部分信息如下：frmt:0 x02 chkval:0 x2abc type:0 x20=FIRST LEVEL BITMAP BLOCKDump of First Level Bitmap Block nbits:4 nranges:1 parent dba:0 x035f0f21 poffset:0 Highwater:0 x035f0f28 DBA Ranges:0 x035f0f20 Length:8 Offset:0 0:Metadata 1:Metadata 2:Metadata 3:75-100%free 4:75-100%free 5:75-100%free 6:75-100%free 7:75-100%freeINFORMATION INDUSTRY|23信息前沿INFORMATION FRONTIER可以看到这个块的类型 type:0 x20=FIRST LEVEL BITMAP BLOCK，是一个 L1位图块，有一个指针指向其父级 parent dba:0 x035f0f21，就是紧随其后的第二个块，这个块其实是一个 L2 位图块,当前的高水位线 Highwater:0 x035f0f28，最下面的 dba ranges 是这个 L1 块管理的区空间状态，在 ASSM 中，块的种类分为：0-25%free、25-50%free、50-75%free、75-100%free、full、metadata 和unformatted 七种状态，前五种为已经使用不同空闲占比的块，最后是未被使用的未格式化块，而 metadata 则是段头块用于存储块管理信息并不存储实际数据。L2位图块信息如右：Dump of Second Level Bitmap Blocknumber:1 nfree:1 ffree:0 pdba:0 x035f0f22/*/L1 Ranges:0 x035f0f20 Free:5 Inst:1可 以 看 到 L2 块 管 理 的 L1 范 围 LI Ranges，这里只有一个地址，如果表数据扩展会同时管理多个 L1 地址，L2 块也有一个指向父级的指针 pdfa:0 x034f0f22，这是一个 L3 块地址，我们可以看到如右信息：buffer tsn:8 rdba:0 x035f0f22(13/2035490)frmt:0 x02 chkval:0 x3ed9 type:0 x23=PAGETABLE SEGMENT HEADERHighwater:0 x035f0f28 ext#:0 blk#:8 ext size:8 Low HighWater Mark:Highwater:0 x035f0f28 ext#:0 blk#:8 ext size:8 这 里 的 类 型 为 PAGETABLE SEG-MENTHEADER，说明这同时就是个段头块了，同 L2、L1 块一样，段头块也有管理的子级也就是 L2 的地址范围，而本例中First Level 3 BMB:0 x00000000 说明这个表并没有 L3 位图（一般非常大的表才会有三级位图的指针）。总结一下 ASSM 下的空间管理如图，是由三层位图结构加数据块，其中同一层次的位图结构可以有多个，分别位于不同的区块，这使得三层位图的管理区域足够庞大，并且不同位图可以被不同 session使用，大大提高了系统的并发性能，减少了 MSSM 模式下的忙区等待时间。3.HWM（高水位线）的原理及优化在 Oracle 的自动段空间管理（ASSM）系统中，三级位图被用来定位合适的数据插入位置。但这个过程受到段的高水位线（HWM）和低水位线（Low HWM）的限制。HWM 是一个界限，所有在 HWM 以上的块都是未格式化和未使用的。HWM以下的块则有三种状态：已分配但未格式化且未使用的，已格式化并包含数据的，以及已格式化但是空块（数据已被删除）。而 Low HWM 以下的所有块都是已格式化的。当 Oracle 进行全表扫描时，它会找到Low HWM 的值，然后读取其下所有的块，再一一仔细地读取 Low HWM 与 HWM 之间的已格式化的块。这样，Low HWM 的存在可以提高 Oracle 全表扫描的效率。在 Oracle 11g 环 境 下，可 以 使 用dbms_space.unused_space 函 数 来 快速查看 HWM 包含的块数量。以测试表TEST1 为例，运行此函数结果为：即总共分配 8 个块，未使用的 0 个块，所以这 8 个块均在 HWM 之下，同时通过段头块的 trc 文件中可以找到 HWM是 0 x035f0f28，可 以 通 过 dbms_utility包 中 data_block_address_file 和 data_block_address_block 两 个 函 数 转 换 我们可以转换该地址，得到此 HWM 地址为file_id:13；block_id:2035496,即分配给这个段的 8 个块的最后一个块号，验证了HWM 确实包含了 8 个块，这里我们还可以 通 过 dbms_space.space_usage 分 析HWM 下的数据块的状态，当前这里总共 5个块全都是 75%-100%free 状态，其余另外还有三个块是 metadata 类型，不在此函数分析范围内。此时表 TEST1 中只有一行数据，我们现在开始 insert 操作重复执行插入直到 Oracle 为这个表分配了第 17个区，此时，第 17 个区包含了 128 个块，至此 TEST1 表总共分配了 17 个区 256 个块，可以看到增长过程中水位线仍然包含了所有块，同时也包含了很多 Oracle 分配的未格式化块，我们再把表里行删除其Total blocks:8Unused blocks:024|INFORMATION INDUSTRY信息前沿INFORMATION FRONTIER中 400 行数据（删除前行数超过 800 行）再查看状态发现 Total blocks 和 Unused blocks 仍然是 256 和 0，块具体状态信息可以看到空闲块数量变多，但是存储使用的总块数并没有改变，这说明删除数据不会降低 HWM，这时我执行全表扫描select*from test1,执行计划中统计信息如右：在数据库任务空闲时段进行操作。(2)使用 shrink space 命令降低 HWM命令格式：SQL alter table TEST1 enable row movement;SQL alter table TEST1 shrink space;Shrink 命令是 ASSM 模式下的新增功能，对其他空间管理模式并不适用，并且要保证段空间管理模式为 auto。在执行shrink space 有一个前置操作，启动 row movement 选项。shrink space 首先通过delete 和 insert 操作将段空间后面的数据整理到前面的空间（这一步骤所有移动都限制在段内空间操作，所以段的地址区域没有变化）数据库视情况移动段内的部分数据，不需要额外的空闲空间，并且自动维护索引，再调整高水位线位置并释放空间，与 MOVE 不同的是在高水位线以上的块也会进行释放，整个过程会对目标表先移动的行加上 X 锁，在调整高水位线对整个表加上 X 锁，所以此命令也需要在业务空闲时进行。区别于 MOVE 的数据块移动，Shrink 命令通过 DML 操作移动数据会产生较大的 redo、undo 日志文件和更长的执行时间，但同时也有可以回收高水位线以上的块，不需要额外的空闲表空间以及自动维护索引的优点。(3)truncate 命令降低 HWM命令格式为：SQLtruncate table TEST1;此操作会清除表全部数据只保留表结构，同时会重置水位线到最低，即水位线下只有 metadata 类型的块，产生极少日志，速度一般很快，但只适用于表中无数据或可以进行全表删除的情形。以上是三种常见的降低水位线的操作方法，需要根据实际情形结合各个方法的优缺点进行选用，另外还有如 exp/imp 导入导出表，DBMS_REDEFINITION 重定义表等方法，由于性价比等不如以上本文不详细讨论，另外需要注意有些操作会直接触发水位线的上涨而非数据库根据数据增长自动推进水位线，如 insert append，它不会检索高水位线以下的数据库是否有空闲，而是直接插入高水位线以上的数据块再标记新的水位线，所以速度很快但是同样会造成空间的浪费，需要谨慎使用。4.总结本文讨论了 ORACLE 的存储结构，手动段空间管理和自动段空间管理两种空间管理模式，包括自动段空间管理技术的寻址方式的实现以及并发性能上的优势，并着重讨论了自动段空间管理模式下的水位线的作用和原理，同时提出了针对数据库高水位线的监测、优化的必要性和具体方法。（铜陵有色金属集团控股有限公司，安徽 铜陵，244000）Statistics-68recursive calls 0db block gets 266consistent gets 162physical reads 0redo size 451035bytes sent via SQL*Net to client.这里全表扫描发生了 162 个物理块读（HWM 下的已格式化块有 256-94 即 162块），这就说明当表执行过一个大批量的delete 操作后，会出现 HWM 虚高（表内高空闲状态的块占比很大）的情况，此时虽然表中数据量减少，但是全表扫描时访问的块数量却不会减少，这就导致不必要CPU 时间损耗以及读取块的物理 I/O 操作，当 delete 的数据量非常大后每次进行全表扫描时，都会极大浪费资源降低效率，这个时候就需要降低 HWM 来优化全表扫描的效率。判断某表是否需要调整高水位线可以参照以下：在 11g 环境中，我们可以使用 dbms_space.space_usage 查看某一个段的 HMW 下块的状态，若结果中除去unformatted_blocks 中，高度空闲状态的块占比过大（如上文中 TEST1 中 75%-100%free 块占比超过一半），此时就需要一些操作来降低 HWM。(1)使用 move 命令降低 HWM。命令格式为：SQLalter table TEST1 move;move 命令作用是把表移动到目标表空间，上述命令省略了目标表空间参数即移动到默认表空间，而在这一过程中会整理释放空间，该命令会对段下面的各个块整体进行移动，所以 move 的执行会使段头块位置变化，整个段的分配空间也会改变，同时命令执行还需要表空间有当前表同样大小的额外空间。由于表数据所在的块的移动会导致 rowid 的变化，从而会是表的索引失效，需要在操作完成后 rebuild，整个过程会给表加上 X 锁，因此 move 必须