扩展:双链内藏玄机
IBM掌控设计,Xyratex制造,决定了Storwize V7000的硬件架构与LSI统管设计制造的System Storage DS3500,有着太多的不同。
为什么不拿V7000与DS5300对比呢?因为DS5000系列的后端驱动器接口技术还是共享环路式的4Gbps FC-AL,不像V7000和DS3500,都采用交换式的6Gbps SAS,具备可比性。
不过至少有一点DS5300和DS3500是相同的,即两者的双控制器均采用负载均衡设计,彼此都有专用的驱动器接口链路与对方的后端连通:DS5300是每个控制器的两个4Gbps FC驱动器芯片中,有一个用于连接另一个控制器的4Gbps FC-AL环路交换机(Loop Switch);DS3500则是每个控制器的6Gbps SAS RoC(RAID-on-Chip,片上RAID)专门拿出一条6Gbps SAS x4链路,与另一个控制器的6Gpbs SAS扩展器相连。![](http://img.zdnet.com.cn/1/856/liH0QwHtDiZ2.jpg?1300945141&random=8498.74033851485)
DS3500每个控制器的SAS RoC(Core Processor)各有两条6Gbps SAS x4链路(红色圆框中),分别与本控制器及另一个控制器的6Gpbs SAS扩展器相连
Storwize V7000的每个控制器都是一个SVC节点,两个控制器正好构成一个I/O组,采用Active-Active(双活)架构,互为故障转移(failover)节点。与通常一个SVC I/O组中的两个节点相比,Storwize V7000控制盘柜中的这两个节点控制器之间通过SBB高速背板有一条PCIe x8的链路相通(以保证Cache的一致性),耦合更为紧密。
DS3500控制器中的6Gbps SAS RoC,有两条6Gbps SAS x4链路,分别连接到两个控制器的6Gbps SAS扩展器,扩展器除了提供到本(控制)盘柜内每个驱动器的直接连接,还有一条6Gbps SAS x4链路用于连接扩展盘柜(Expansion Enclosures)。相比之下,Storwize V7000控制器中,6Gbps SAS控制芯片(SAS Controller)也是用一条6Gbps SAS x4链路与6Gbps SAS扩展器相连,但另一条6Gbps SAS x4链路却不是通向另一个控制器,而是和6Gbps SAS扩展器一样,用于连接扩展盘柜。![](http://img.zdnet.com.cn/1/55/liANK0BivRd1Q.jpg?1301190470&random=1244.4510499860246)
Storwize V7000节点控制器架构图,注意红色椭圆框中的两条6Gbps SAS x4链路,都通向SAS扩展端口连接扩展盘柜,区别在于左侧链路①(SAS Chain 1)直接由SAS控制芯片引出,右侧链路②(SAS Chain 2)则已经过一个SAS扩展器,好在该SAS扩展器右侧连接的控制盘柜内的驱动器也属于SAS Chain 2;而在红色长方框中可以看到,SAS Chain 1和2(①和②)构成了SAS控制芯片的两条下行链路,单向带宽共计4.8GB/s(每条6Gbps SAS x4链路2.4GB/s),与PCIe x8上行链路4GB/s的单向带宽基本匹配。由于控制盘柜里的驱动器属于SAS链路②,所以第一个扩展盘柜一定要挂在SAS链路①上,以保证两条SAS链路的带宽都能得到利用
这样一来,就在扩展盘柜的连接方式上,出现了一系列不同于DS3500的结果。
首先,Storwize V7000的每个控制器上有两个用于连接扩展盘柜的SAS端口,分别属于不同的链路——SAS Chain 1和2。SAS Chain 1直接挂在SAS控制芯片上,而SAS Chain 2来自控制器内的SAS扩展器。也就是说,从控制器出来的时候,SAS Chain 2已经比SAS Chain 1多经过了一个扩展器。所以,SAS Chain 2所能连接的扩展盘柜比SAS Chain 1少一个(每个扩展盘柜内都要经过一个扩展器),分别是4个和5个。但是SAS Chain 2并不吃亏,因为控制盘柜内的驱动器归它管。![](http://img.zdnet.com.cn/1/868/li5hDBKAGpP0Y.jpg?1300948606&random=971.6408358821482)
DS3500控制盘柜(左侧最上方单元)的一个SAS扩展端口就可以访问所有的扩展盘柜(最多7个),Storwize V7000控制盘柜(右侧中间Control Enclosure)的一个SAS扩展端口只能访问半数的扩展盘柜(最多5个),一个节点控制器需要两个SAS扩展端口配合才能访问所有的盘柜——蓝色连线所示为SAS链路1,不包括控制盘柜内的驱动器,共5个扩展盘柜;绿色连线所示为SAS链路2,包括控制盘柜内的驱动器,还有4个扩展盘柜,一共也是5个盘柜
无论如何,两条SAS链路各自管理5个盘柜,加在一起是10个盘柜。Storwize V7000的扩展能力是以盘柜为单元来计算的,同样10个盘柜,根据具体配置的不同,所能支持的驱动器数量有很大差别:如果都用24个2.5英寸驱动器的盘柜(控制盘柜2076-124和扩展盘柜2076-224),就达到支持驱动器数量的最大值240个;
如果都用12个3.5英寸驱动器的盘柜(控制盘柜2076-112和扩展盘柜2076-212),则仅能支持120个驱动器;
如果混合使用不同规格的盘柜,则支持的驱动器数量介于120和240之间,取决于采用的组合方式。 ![](http://img.zdnet.com.cn/1/871/li1pct1eIDRkM.jpg?1300949762&random=9460.832044780758)
2个2076-124/224盘柜(24个2.5英寸驱动器)和8个2076-112/212盘柜(12个3.5英寸驱动器)组合的Storwize V7000配置,驱动器总数上限为144个(48个2.5英寸,96个3.5英寸)
DS3500则是一条SAS链路贯穿所有盘柜,并且不管采用何种盘柜,只要驱动器配满,总数都能达到96个。换言之,都用24个2.5英寸驱动器,最多4个盘柜;都用12个3.5英寸驱动器,最多8个盘柜。 |