读书频道 > 数据库 > Oracle > Oracle Exadata技术详解
2.6 Infiniband 交换机
2015-11-03 14:43:23     我来说两句 
收藏    我要投稿   

本文所属图书 > Oracle Exadata技术详解

本书作为国内第一本关于Oracle Exadata一体机的中文教程,偏重于实践方面,同时加入了更多V2版本以后的新内容。全书可分为三个部分。第一部分为基础篇(1~5章),主要介绍了Oracle Exadata一体机的配置、架构  立即去当当网订购

在Exadata中,infiniband的交换机主要有3个用途:

用于RAC数据库节点之间的数据传输,例如Cache Fusion以及私网的心跳;

用于数据库节点和存储节点之间的数据传输交互;

还可以外接到其他设备上,例如多台Exadata级联,Exadata与Exlogic互联,Exadata与高速备份设备之间的互联等。

如果是1/8配或者1/4配的Exadata,则只有2台infiniband交换机,这两台交换机互为冗余,通常称之为叶子节点(leaf node),接口采用的是主备(Active-Standby)的模式,如果1台infiniband交换机发生故障,那么另外一台会自动接管。受PCIe 2.0接口的限制,即使采用的是双活(Active-Active)模式也无法提供更高的带宽。如果是1/2配或者1/1配的Exadata,则会配备3台infinband交换机,其他两台互为冗余,另外一台用于多个机柜的级联,这一台infiniband交换机通常称之为主干节点(spine node)。

Exadata使用的infiniband交换机型号为Sun Datacenter 36-port Managed QDR infiniband switch。这种交换机提供单个链接80Gb/s的带宽,即双向各40Gb/s。

Exadata infiniband交换机操作系统采用的是开源的CentOS Linux 5,在此之上运行子网管理器(subnet manager),用于自动发现和管理网络拓扑,在某一个时刻,有且只有一个子网管理器处于Active状态。

infiband交换机虽然不起眼,但是可别小看了它。在Exadata中,它相当于Exadata浑身的经脉,可以说没有了infiband,Exadata就无法正常工作。为了使得读者对infiniband有更深刻的认识,下面将详细介绍infiniband交换机的互联。

每一台数据库服务器和存储服务器都提供了一个双口的QDR infinband HCA卡。图2-5是一台满配的Exadata,但是只用到了2台infiniband交换机作为叶子节点。我们将左侧的infiniband叶子节点交换机称之为ib1,右侧的infiniband叶子交换机称之为ib2,数据库服务器节点1称之为db01,存储服务器节点一称之为cel01,其他的节点名称依次类推。


 

其中连接到ib1处于Active状态的数据库服务器包括db01、db02、db03、db04,存储服务器包括cel01、cel02、cel03、cel04、cel05、cel06、cel07。处于Standby状态的数据库服务器包括db05、db06、db07、db08,存储服务器包括cel08、cel09、cel10、cel11、cel12、cel13、cel14。连接到ib2的服务器的状态与ib1相反。每台infinband交换机上有22根线连接到数据库和存储服务器,其中11根处于Active状态,11根处于Standby状态,Exadata就是据此来实现节点之间的互连高可用性的。

同时,请注意两个叶子节点ib1和ib2之间使用7根线进行互连。通常情况下,如果只是用于高可用是不需要接7根线的。这里接7根线的目的是为了在正常情况下infinband之间能实现负载均衡,以获取更好的性能。如果db01需要访问的数据位于cel01~cel07, 那么则无需使用ib2,但是如果db01需要访问的数据位于cel08~cel14, 因为cel08~cel14在ib1上处于Standby状态,所以需要通过两台infiniband交换机之间内联的7根线去连接ib2,然后再通过ib2去访问cel08~cel14的数据。如果两台交换机之间互连的数据线低于7根,则无法获取最大的性能,多于7根数据线则意义不大。如果使用的是1/4配或者1/2,虽然部分线是多余的,但是也会使用7根线来实现互联,因为这种接线的方式是出厂预设的。

如果使用第三台主干交换机,则只需要在每一台叶子交换机上分别引一根线到主干交换机即可,如图2-6所示。


 

点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:2.5 Exadata磁盘的IOPS
下一篇:2.7 Exadata网络
相关文章
图文推荐
3.6 存储管理工具Ce
3.4.5 Interleaving
3.4 Exadata存储架构
3.3.3 SDP协议
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站