读书频道 > 网站 > 网页设计 > MySQL技术内幕:InnoDB存储引擎(第2版)
2.5.1 InnoDB 1.0.x版本之前的Master Thread
13-05-23    奋斗的小年轻
收藏    我要投稿   
本书由国内资深MySQL专家亲自执笔,国内外多位数据库专家联袂推荐。作为国内唯一一本关于InnoDB的专著,本书的第1版广受好评,第2版不仅针对最新的MySQL 5.6对相关内容进行了全面的补充,还根据广大读者的反馈意...立即去当当网订购

2.5 Master Thread工作方式

在2.3节中我们知道了,InnoDB存储引擎的主要工作都是在一个单独的后台线程Master Thread中完成的,这一节将具体解释该线程的具体实现及该线程可能存在的问题。

2.5.1 InnoDB 1.0.x版本之前的Master Thread

Master Thread具有最高的线程优先级别。其内部由多个循环(loop)组成:主循环(loop)、后台循环(backgroup loop)、刷新循环(flush loop)、暂停循环(suspend loop)。Master Thread会根据数据库运行的状态在loop、background loop、flush loop和suspend loop中进行切换。

Loop被称为主循环,因为大多数的操作是在这个循环中,其中有两大部分的操作——每秒钟的操作和每10秒的操作。伪代码如下:

void master_thread(){

loop:

for(int i= 0; i<10; i++){

   do thing once per second

   sleep 1 second if necessary

}

do things once per ten seconds

goto loop;

}

可以看到,loop循环通过thread sleep来实现,这意味着所谓的每秒一次或每10秒一次的操作是不精确的。在负载很大的情况下可能会有延迟(delay),只能说大概在这个频率下。当然,InnoDB源代码中还通过了其他的方法来尽量保证这个频率。

每秒一次的操作包括:

日志缓冲刷新到磁盘,即使这个事务还没有提交(总是);

合并插入缓冲(可能);

至多刷新100个InnoDB的缓冲池中的脏页到磁盘(可能);

如果当前没有用户活动,则切换到background loop(可能)。

即使某个事务还没有提交,InnoDB存储引擎仍然每秒会将重做日志缓冲中的内容刷新到重做日志文件。这一点是必须要知道的,因为这可以很好地解释为什么再大的事务提交(commit)的时间也是很短的。

合并插入缓冲(Insert Buffer)并不是每秒都会发生的。InnoDB存储引擎会判断当前一秒内发生的IO次数是否小于5次,如果小于5次,InnoDB认为当前的IO压力很小,可以执行合并插入缓冲的操作。

同样,刷新100个脏页也不是每秒都会发生的。InnoDB存储引擎通过判断当前缓冲池中脏页的比例(buf_get_modified_ratio_pct)是否超过了配置文件中innodb_max_dirty_pages_pct这个参数(默认为90,代表90%),如果超过了这个阈值,InnoDB存储引擎认为需要做磁盘同步的操作,将100个脏页写入磁盘中。

总结上述操作,伪代码可以进一步具体化,如下所示:

void master_thread(){

   goto loop;

loop:

for(int i = 0; i<10; i++){

   thread_sleep(1) // sleep 1 second

   do log buffer flush to disk

   if (last_one_second_ios < 5 )

      do merge at most 5 insert buffer

   if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct )

      do buffer pool flush 100 dirty page

   if ( no user activity )

      goto backgroud loop

}

do things once per ten seconds

background loop:

   do something

   goto loop:

}

接着来看每10秒的操作,包括如下内容:

刷新100个脏页到磁盘(可能的情况下);

合并至多5个插入缓冲(总是);

将日志缓冲刷新到磁盘(总是);

删除无用的Undo页(总是);

刷新100个或者10个脏页到磁盘(总是)。

在以上的过程中,InnoDB存储引擎会先判断过去10秒之内磁盘的IO操作是否小于200次,如果是,InnoDB存储引擎认为当前有足够的磁盘IO操作能力,因此将100个脏页刷新到磁盘。接着,InnoDB存储引擎会合并插入缓冲。不同于每秒一次操作时可能发生的合并插入缓冲操作,这次的合并插入缓冲操作总会在这个阶段进行。之后,InnoDB存储引擎会再进行一次将日志缓冲刷新到磁盘的操作。这和每秒一次时发生的操作是一样的。

接着InnoDB存储引擎会进行一步执行full purge操作,即删除无用的Undo页。对表进行update、delete这类操作时,原先的行被标记为删除,但是因为一致性读(consistent read)的关系,需要保留这些行版本的信息。但是在full purge过程中,InnoDB存储引擎会判断当前事务系统中已被删除的行是否可以删除,比如有时候可能还有查询操作需要读取之前版本的undo信息,如果可以删除,InnoDB会立即将其删除。从源代码中可以发现,InnoDB存储引擎在执行full purge操作时,每次最多尝试回收20个undo页。

然后,InnoDB存储引擎会判断缓冲池中脏页的比例(buf_get_modified_ratio_pct),如果有超过70%的脏页,则刷新100个脏页到磁盘,如果脏页的比例小于70%,则只需刷新10%的脏页到磁盘。

现在我们可以完整地把主循环(main loop)的伪代码写出来了,内容如下:

void master_thread(){

   goto loop;

loop:

for(int i = 0; i<10; i++){

   thread_sleep(1) // sleep 1 second

   do log buffer flush to disk

   if (last_one_second_ios < 5 )

      do merge at most 5 insert buffer

   if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct )

      do buffer pool flush 100 dirty page

   if ( no user activity )

      goto backgroud loop

}

if ( last_ten_second_ios < 200 )

   do buffer pool flush 100 dirty page

do merge at most 5 insert buffer

do log buffer flush to disk

do full purge

if ( buf_get_modified_ratio_pct > 70% )

   do buffer pool flush 100 dirty page

else

   buffer pool flush 10 dirty page

goto loop

background loop:

   do something

goto loop:

}

接着来看background loop,若当前没有用户活动(数据库空闲时)或者数据库关闭(shutdown),就会切换到这个循环。background loop会执行以下操作:

删除无用的Undo页(总是);

合并20个插入缓冲(总是);

跳回到主循环(总是);

不断刷新100个页直到符合条件(可能,跳转到flush loop中完成)。

若flush loop中也没有什么事情可以做了,InnoDB存储引擎会切换到suspend__loop,将Master Thread挂起,等待事件的发生。若用户启用(enable)了InnoDB存储引擎,却没有使用任何InnoDB存储引擎的表,那么Master Thread总是处于挂起的状态。

最后,Master Thread完整的伪代码如下:

void master_thread(){

   goto loop;

loop:

for(int i = 0; i<10; i++){

   thread_sleep(1) // sleep 1 second

   do log buffer flush to disk

   if ( last_one_second_ios < 5 )

      do merge at most 5 insert buffer

   if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct )

      do buffer pool flush 100 dirty page

   if ( no user activity )

      goto backgroud loop

}

if ( last_ten_second_ios < 200 )

   do buffer pool flush 100 dirty page

do merge at most 5 insert buffer

do log buffer flush to disk

do full purge

if ( buf_get_modified_ratio_pct > 70% )

   do buffer pool flush 100 dirty page

else

   buffer pool flush 10 dirty page

goto loop

background loop:

do full purge

do merge 20 insert buffer

if not idle:

goto loop:

else:

   goto flush loop

flush loop:

do buffer pool flush 100 dirty page

if ( buf_get_modified_ratio_pct>innodb_max_dirty_pages_pct )

   goto flush loop

goto suspend loop

suspend loop:

suspend_thread()

waiting event

goto loop;

}

点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.3 功能
下一篇:1.5 小结
相关文章
图文推荐
JavaScript网页动画设
1.9 响应式
1.8 登陆页式
1.7 主题式
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站