Innodb存储引擎浅析—事务系统.pdf

Innodb存储引擎浅析存储引擎浅析事务系统事务系统 创世战神 孔德生 agenda 存储引擎介绍 事务系统 Connection handling Query Cache Optimizer InnoDB Parser Optimizer Executer Executer 存储引擎层存储引擎层 mysql层层 MyISAM MyISAM Database Files MyISAM 特性：不支持事务 读写速度快 可压缩，占用空间小 表锁 Read local（支持并发插入）Read Write 什么时候使用 不要求事务的支持 大量的读，最好是只有select和insert MyISAM 重要的配置参数：key_buffer 状态参数：key_read_requests,key_read MyISAM表的存储结构 Table_name.frm:包含表的元数据信息 Table_name.MYD:包含表的行数据 Table_name.MYI:包含表的索引数据 备份MyISAM表的方法 InnoDB 特性：支持事务 原子性，一致性，隔离性，持久性 支持四种隔离级别 行锁 多版本控制协议 自动死锁检测 自动崩溃恢复 引用完整性 InnoDB InnoDB创新点：自适应hash索引 插入缓冲区 双写缓冲区 InnoDB数据如何存放？InnoDB主键 InnoDB的非主键（二级索引）InnoDB与MyISAM索引对比 agenda 存储引擎介绍 事务系统 案例一 有一个事务，需要执行一个update语句，它是怎么完成的呢？begin update test set v=18 where id=47 commit (原v=8)案例二 某数据库集群每日17:00左右会出现一个性能陡降的现象，在1020秒内主库出现大量慢查询。这些查询本身没有性能问题，也没有任何关联。通过对全日志的梳理，查明每日17:00左右，某定时任务中有一个update语句，该update语句一次性会对约70万个row进行更新，引发大量数据库写入。事务模型 ACID 隔离级别 两阶段加锁 MVCC 崩溃恢复 事务物理结构 数据 undo log redo log ACID 原子性 一致性 隔离性 持久性 隔离级别 未提交读 (Read Uncommitted)提交读 (Read Committed)可重复读 (Repeatable Read)序列化读 (SERializable)MVCC trx_ids low_limit_id up_limit_id can see can not see MVCC RC：查询开始前建立view RR：事务开始前建立view RU：不使用view，看到什么读什么 SER：不使用view，加锁读 Undo log ARIES算法 日志唯一标识符LSN 日志先行 redo log 日志生命周期 创建日志创建日志 日志刷盘日志刷盘 数据刷盘数据刷盘 写检查点写检查点 lsn flushed_to_disk_lsn last_checkpoint_lsn oldest_modification_lsn 日志保护机制 避免宕机导致日志丢失，通过innodb_flush_log_at_trx_commit参数控制 日志保护机制 由于日志文件是环状结构，避免日志覆盖 age=lsn-oldest_lsn checkpoint_age=lsn-last_checkpoint_lsn sync async async sync 刷盘时机 刷盘时机 溢出 检查点 事务提交 空闲 双写缓冲 崩溃恢复 recover incomplete pages from doublewrite buffer scan redo log from the last checkpoint apply redo log accepting connections rollback incomplete transaction 111228 16:53:04 InnoDB:Database was not shut down normally!InnoDB:Starting crash recovery.InnoDB:Reading tablespace information from the.ibd files.InnoDB:Restoring possible half-written data pages from the doublewrite buffer.InnoDB:Doing recovery:scanned up to log sequence number 289169408.InnoDB:2 transaction(s)which must be rolled back or cleaned up in total 4088149 row operations to undo InnoDB:Trx id counter is 500 111228 16:53:31 InnoDB:Starting an apply batch of log records to the database.InnoDB:Progress in percents:18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 InnoDB:Apply batch completed InnoDB:Starting in background the rollback of uncommitted transactions 111228 16:53:37 InnoDB:Rolling back trx with id 312,1889717 rows to undo 111228 16:53:39 Note/usr/local/mysql-5.5.19/bin/mysqld:ready for connections.2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 InnoDB:Rolling back of trx id 312 completed 111228 16:53:42 InnoDB:Rolling back trx with id 310,2198432 rows to undo InnoDB:Progress in percents:2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 InnoDB:Rolling back of trx id 310 completed 111228 16:53:50 InnoDB:Rollback of non-prepared transactions completed step 1 step 2 step 3 step 4 step 5 案例一 begin:根据事务隔离级别，可能需要记录read view 案例一 update:1.走B+树找到v=8的叶节点，并载入buffer pool 2.获得x锁 3.获得undo slot 4.日志先行，在redo log中记录undo log的改变 5.在undo log中记录v=8 6.日志先行，在redo log中记录数据页的改变 7.修改id=47这一行 案例一 commit:根据事务隔离级别，可能需要记录read view 1.写binlog，根据sync_binlog决定是否要刷盘 2.释放undo log，如果是insert，执行释放，如果是update，转到undo history 3.根据innodb_flush_log_at_trx_commit决定是否需要刷盘 4.在iblogfile0中记录事务提交信息 Q&A