读书频道 > 网站 > 网页设计 > MySQL技术内幕:InnoDB存储引擎(第2版)
2.5.2 InnoDB1.2.x版本之前的Master Thread
13-05-23    奋斗的小年轻
收藏    我要投稿   
本书由国内资深MySQL专家亲自执笔,国内外多位数据库专家联袂推荐。作为国内唯一一本关于InnoDB的专著,本书的第1版广受好评,第2版不仅针对最新的MySQL 5.6对相关内容进行了全面的补充,还根据广大读者的反馈意...立即去当当网订购

在了解了1.0.x版本之前的Master Thread的具体实现过程后,细心的读者会发现InnoDB存储引擎对于IO其实是有限制的,在缓冲池向磁盘刷新时其实都做了一定的硬编码(hard coding)。在磁盘技术飞速发展的今天,当固态磁盘(SSD)出现时,这种规定在很大程度上限制了InnoDB存储引擎对磁盘IO的性能,尤其是写入性能。

从前面的伪代码来看,无论何时,InnoDB存储引擎最大只会刷新100个脏页到磁盘,合并20个插入缓冲。如果是在写入密集的应用程序中,每秒可能会产生大于100个的脏页,如果是产生大于20个插入缓冲的情况,Master Thread似乎会“忙不过来”,或者说它总是做得很慢。即使磁盘能在1秒内处理多于100个页的写入和20个插入缓冲的合并,但是由于hard coding,Master Thread也只会选择刷新100个脏页和合并20个插入缓冲。同时,当发生宕机需要恢复时,由于很多数据还没有刷新回磁盘,会导致恢复的时间可能需要很久,尤其是对于insert buffer来说。

这个问题最初由Google的工程师Mark Callaghan提出,之后InnoDB官方对其进行了修正并发布了补丁(patch)。InnoDB存储引擎的开发团队参考了Google的patch,提供了类似的方法来修正该问题。因此InnoDB Plugin(从InnoDB1.0.x版本开始)提供了参数innodb_io_capacity,用来表示磁盘IO的吞吐量,默认值为200。对于刷新到磁盘页的数量,会按照innodb_io_capacity的百分比来进行控制。规则如下:

在合并插入缓冲时,合并插入缓冲的数量为innodb_io_capacity值的5%;

在从缓冲区刷新脏页时,刷新脏页的数量为innodb_io_capacity。

若用户使用了SSD类的磁盘,或者将几块磁盘做了RAID,当存储设备拥有更高的IO速度时,完全可以将innodb_io_capacity的值调得再高点,直到符合磁盘IO的吞吐量为止。

另一个问题是,参数innodb_max_dirty_pages_pct默认值的问题,在InnoDB 1.0.x版本之前,该值的默认为90,意味着脏页占缓冲池的90%。但是该值“太大”了,因为InnoDB存储引擎在每秒刷新缓冲池和flush loop时会判断这个值,如果该值大于innodb_max_dirty_pages_pct,才刷新100个脏页,如果有很大的内存,或者数据库服务器的压力很大,这时刷新脏页的速度反而会降低。同样,在数据库的恢复阶段可能需要更多的时间。

在很多论坛上都有对这个问题的讨论,有人甚至将这个值调到了20或10,然后测试发现性能会有所提高,但是将innodb_max_dirty_pages_pct调到20或10会增加磁盘的压力,系统的负担还是会有所增加的。Google在这个问题上进行了测试,证明20并不是一个最优值。而从InnoDB 1.0.x版本开始,innodb_max_dirty_pages_pct默认值变为了75,和Google测试的80比较接近。这样既可以加快刷新脏页的频率,又能保证了磁盘IO的负载。

InnoDB 1.0.x版本带来的另一个参数是innodb_adaptive_flushing(自适应地刷新),该值影响每秒刷新脏页的数量。原来的刷新规则是:脏页在缓冲池所占的比例小于innodb_max_dirty_pages_pct时,不刷新脏页;大于innodb_max_dirty_pages_pct时,刷新100个脏页。随着innodb_adaptive_flushing参数的引入,InnoDB存储引擎会通过一个名为buf_flush_get_desired_flush_rate的函数来判断需要刷新脏页最合适的数量。粗略地翻阅源代码后发现buf_flush_get_desired_flush_rate通过判断产生重做日志(redo log)的速度来决定最合适的刷新脏页数量。因此,当脏页的比例小于innodb_max_dirty_pages_pct时,也会刷新一定量的脏页。

还有一个改变是:之前每次进行full purge操作时,最多回收20个Undo页,从InnoDB 1.0.x版本开始引入了参数innodb_purge_batch_size,该参数可以控制每次full purge回收的Undo页的数量。该参数的默认值为20,并可以动态地对其进行修改,具体如下:

mysql> SHOW VARIABLES LIKE 'innodb_purge_batch_size'\G;

*************************** 1. row ***************************

Variable_name: innodb_purge_batch_size

       Value: 20

 

mysql> SET GLOBAL innodb_purge_batch_size=50;

Query OK, 0 rows affected (0.00 sec)

通过上述的讨论和解释我们知道,从InnoDB 1.0.x版本开始,Master Thread的伪代码必将有所改变,最终变成:

void master_thread(){

   goto loop;

loop:

for(int i = 0; i<10; i++){

   thread_sleep(1) // sleep 1 second

   do log buffer flush to disk

   if ( last_one_second_ios < 5% innodb_io_capacity )

      do merge 5% innodb_io_capacity insert buffer

   if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct )

      do buffer pool flush 100% innodb_io_capacity dirty page

   else if enable adaptive flush

      do buffer pool flush desired amount dirty page

   if ( no user activity )

      goto backgroud loop

}

if ( last_ten_second_ios <innodb_io_capacity)

   do buffer pool flush 100% innodb_io_capacity dirty page

do merge 5% innodb_io_capacity insert buffer

do log buffer flush to disk

do full purge

if ( buf_get_modified_ratio_pct > 70% )

   do buffer pool flush 100% innodb_io_capacity dirty page

else

   dobuffer pool flush 10% innodb_io_capacity dirty page

goto loop

background loop:

do full purge

do merge 100% innodb_io_capacity insert buffer

if not idle:

goto loop:

else:

   goto flush loop

flush loop:

do buffer pool flush 100% innodb_io_capacity dirty page

if ( buf_get_modified_ratio_pct>innodb_max_dirty_pages_pct )

   go to flush loop

   goto suspend loop

suspend loop:

suspend_thread()

waiting event

goto loop;

}

很多测试都显示,InnoDB 1.0.x版本在性能方面取得了极大的提高,其实这和前面提到的Master Thread的改动是密不可分的,因为InnoDB存储引擎的核心操作大部分都集中在Master Thread后台线程中。

从InnoDB 1.0.x开始,命令SHOW ENGINE INNODB STATUS可以查看当前Master Thread的状态信息,如下所示:

mysql>SHOW ENGINE INNODB STATUS\G;

*************************** 1. row ***************************

  Type: InnoDB

  Name:

Status:

=====================================

090921 14:24:56 INNODB MONITOR OUTPUT

=====================================

Per second averages calculated from the last 6 seconds

----------

BACKGROUND THREAD

----------

srv_master_thread loops: 45 1_second, 45 sleeps, 4 10_second, 6 background, 6 flush

srv_master_thread log flush and writes: 45  log writes only: 69

……

这里可以看到主循环进行了45次,每秒挂起(sleep)的操作进行了45次(说明负载不是很大),10秒一次的活动进行了4次,符合1∶10。background loop进行了6次,flush loop也进行了6次。因为当前这台服务器的压力很小,所以能在理论值上运行。如果是在一台压力很大的MySQL数据库服务器上,看到的可能会是下面的情景:

mysql> show engine innodb status\G;

*************************** 1. row ***************************

  Type: InnoDB

  Name:

Status:

=====================================

091009 10:14:34 INNODB MONITOR OUTPUT

=====================================

Per second averages calculated from the last 42 seconds

----------

BACKGROUND THREAD

----------

srv_master_thread loops: 2188 1_second, 1537 sleeps, 218 10_second, 2 background, 2 flush

srv_master_thread log flush and writes: 1777  log writes only: 5816

……

可以看到当前主循环运行了2188次,但是循环中的每秒挂起(sleep)的操作只运行了1537次。这是因为InnoDB对其内部进行了一些优化,当压力大时并不总是等待1秒。因此,并不能认为1_second和sleeps的值总是相等的。在某些情况下,可以通过两者之间差值的比较来反映当前数据库的负载压力。

点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.3 功能
下一篇:1.5 小结
相关文章
图文推荐
JavaScript网页动画设
1.9 响应式
1.8 登陆页式
1.7 主题式
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站