Infiniband——替代TCP/IP的I/O革命者

network

Infiniband——替代TCP/IP的I/O革命者



　　双核以及多核技术的采用使得处理器的性能不断提升，网络带宽也在不断增加，但是你是否注意到了，为什么我们依然会感觉服务器不够快?问题就在于I/O。说到I/O，有关Infiniband技术应该引起用户的足够重视。身世InfiniBand是由InfiniBand行业协会(IBTA，InfiniBand Trade Association)定义的一项标准，它是一种基于通道的、采用交换结构的I/O体系。
　　IBTA成立于1999年8月31日，由Compaq、惠普、IBM、戴尔、英特尔、微软和Sun七家公司牵头，共同研究发展的高速先进的I/O标准。最初的命名为System I/O，1999年10月，正式改名为InfiniBand。InfiniBand是一种长缆线的连接方式，具有高速、低延迟的传输特性。据星盈科技李泌介绍，InfiniBand用于服务器系统内部，主要用于处理器/内存与I/O(如硬盘、网卡等)的连接，由于InfiniBand具有长缆线连接的特性，从而使得处理核心与I/O在保持运作一致性的同时，在实际的配置上，实现分离的配置。据李泌介绍，星盈科技推出的超级刀片计算机，就采用了类似的技术。
　　但是InfiniBand用于服务器系统内部并没有发展起来，原因在于英特尔和微软在2002年就退出了IBTA。在此之前，英特尔早已另行倡议Arapahoe，亦称为3GIO(3rd Generation I/O，第三代I/O)，即今日鼎鼎大名的PCI Express(PCI-E)，InfiniBand、3GIO经过一年的并行，英特尔终究还是选择了PCI-E。因此，现在应用InfiniBand，主要是用于在服务器集群，系统之间的互联。
　　需要说明的是，即使在系统之间的互联，InfiniBand也还面临着竞争对手，这是因为自英特尔、微软退出IBTA之后，IBM、惠普也在不久后退出，并在第二年提出RDMA(Remote Direct Memory Access，远程直接内存存取)技术，期望用10Gbps Ethernet搭配TOE(TCP/IP Offload Engine，TCP/IP负荷卸载引擎)的硬件加速设计，以更标准、低廉的方式与InfiniBand进行竞争。此外，由Broadcom、Chelsio、惠普、NetApp和微软等厂商推动的iWarp，一种用于远程直接内存访问、远程直接数据放置的保护协议，它淘汰了两端的网卡，也是一种标准的协议。另外，英特尔的I/O加速技术也与InfiniBand具有一定的竞争关系。工作原理
　　与其他网络协议(如TCP/IP)相比，InfiniBand具有更高的传输效率。原因在于许多网络协议具有转发损失的数据包的能力，但是由于要不断地确认与重发，基于这些协议的通信也会因此变慢，极大地影响了性能。
　　需要说明的是，TCP协议是一种被大量使用的传输协议，从冰箱到超级计算机等各种设备上都可以看到它的身影，但是使用它必须付出高昂的代价：TCP协议极其复杂、代码量巨大并且充满了各种特例，而且它很难卸载(所谓卸载就是不占用CPU的运行时间)。
　　与之相比，InfiniBand使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失。使用InfiniBand，除非确认接收缓存具备足够的空间，否则不会传送数据。接受方在数据传输完毕之后， 返回信用来标示缓存空间的可用性。通过这种办法，InfiniBand消除了由于原数据包丢失而带来的重发延迟，从而提升了效率和整体性能。
　　目前,基于InfiniBand技术的网卡的单端口带宽最大可达到20Gbps，基于InfiniBand的交换机的单端口带宽最大可达60Gbps，单交换机芯片可以支持达480Gbps的带宽。在2005年的4月份，Cisco公司收购了InfiniBand方案提供商Topspin; 而专业存储厂商QLogic公司也陆续收购了InfiniBand技术厂商SilverStorm公司和PathScale公司，开始进军InfiniBand领域。



　　[/url]
　　据曙光公司[url=/tag/3326/index.html]技术支持中心袁伟介绍，目前曙光的高性能计算机全部采用InfiniBand技术进行节点之间的互联，用InfiniBand替代了Myrinet。原因在于，Mrynet在2Gbps带宽之后，在向10Gbps技术的发展上，路线图不清晰，技术实现上也不好。与之相比，20Gbps InfiniBand技术已经非常成熟，在价格上也具有竞争力。
　　据宝德服务器事业部经理程佶透露， 宝德InfiniBand服务器的出货主要集中在高性能计算领域，占有30%～40%的份额，其余高性能计算采用千兆以太网的连接方案。程佶表示，除了高性能计算领域之外，其他领域应用InfiniBand服务器的前景并不十分看好。原因在于InfiniBand的价格还是比较高，仅InfiniBand的HCA(主通道适配器)卡就需要4000元～5000元人民币，而性能的提升仅在10%～15%之间。因此，价格将成为InfiniBand服务器进入企业市场的障碍。
　　据了解，目前IBM、惠普、戴尔、SUN等公司都对InfiniBand做出了积极的响应。在它们的InfiniBand服务器解决方案中，有的在用标准的InfiniBand HCA， 有的在用专门设计的Mezzanine卡，有的在用标准的InfiniBand交换机，有的在用专门设计的交换模块。目前InfiniBand服务器大多采用基于PCI-E的接口，如Arima(华宇)、Tyan(泰安)、SuperMicro(超微)等，因为PCI-E比PCI-X能够提供更高的带宽和更低的延时。
　　记者日前还采访了InfiniBand HCA卡以及交换机芯片的核心供应商—Mellanox公司亚洲区技术总监宋庆春。据他介绍，InfiniBand的应用领域已变得越来越广。从2005年InfiniBand开始进入存储市场以来，已有越来越多的存储客户开始使用InfiniBand技术。他预计到2008年～2009年，InfiniBand应该成为存储市场的主力。目前主流的存储厂商除了EMC之外，其余厂商都宣布了InfiniBand的存储解决方案。分析其中的原因，宋庆春认为，在带宽、价格方面，InfiniBand均比FC方案具有优势，其中InfiniBand带宽为20Gbps，而FC只有4 Gbps，在价格上，一块FC 网卡就要上万元，远比InfiniBand HCA卡昂贵。另外，更为主要的是：InfiniBand是一种标准开放的协议，具有更多的厂商支持。因此，InfiniBand在SAN存储应用里的优势非常明显。
　　对于InfiniBand而言，它所具有的整合特性，使得它在数据中心将会得到更多的应用。宋庆春表示，InfiniBand的一个端口可以虚拟成为8个虚拟的通道，而这些虚拟的通道可以分别与数据中心中的FC SAN存储模块、计算模块、管理模块以及通信模块进行连接，从而实现基于InfiniBand的统一管理。推广与应用InfiniBand作为一种高带宽、低延时的连接技术，在数据库集群，在金融分析、制造业、石油、气象、生物等仿真技术领域正在得到越来越多的应用，并成为市场的主流。据6月27日发布的全球HPC TOP 500排名情况来看，InfiniBand的份额实现了强有力的增长，从上届的78套增加到了现在的127套。
　　“十一五”期间，我国将会在明年推出两台具有百万亿次计算能力的超级计算机，一台在中科院计算所，一台在上海超级计算中心。据业内人士透露，从目前实现百万亿次计算能力的设计方案来看，绝大多数都采用了InfiniBand的方案。可以说，在高性能计算领域，InfiniBand已经占据了主流的地位。
　　　　上海超级计算中心副主任袁俊表示，对于InfiniBand而言，更多的考验是在商用计算领域，特别是在存储、在数据中心的应用。据介绍，在这些应用领域大多会采用一种混合计算的方案，在服务器、FC SAN存储，以及以太网之间部署InfiniBand交换机来提高通信的效率以及存储的吞吐量。此外，InfiniBand也被用于解决刀片服务器扩展能力受限的问题，通过提供与外部PCI 扩展模块的连接，InfiniBand 使多个刀片服务器或机箱能够共享原有的PCI 外部设备。这种方法不但节约了空间，而且使客户的多个服务器能够共用设备。编看编想 还是让市场来回答
　　从1999年推出以来，InfiniBand经历了太多的变迁，其中很多变化并不是技术决定的，因此，不是亲历者很难说得清楚。我接触InfiniBand是从接触HPC开始的，当时上海超算中心在应用HPC过程中，连接计算节点的Myrinet网络，存在交换机节点作业完成不释放的问题，为此，他们考虑采用更加可靠的互联方式，其中就提到了InfiniBand。
　　再次接触InfiniBand是在刀片服务器中。刀片服务器最初的用户主要是“两油”，也就是“石油”和“网游”，其中，石油是高性能计算的代表，网游则是电信应用的代表。刀片服务器为满足HPC应用的需要，需要支持具有更高带宽、更低延迟的InfiniBand交换机(刀片服务器中称网络模块)。这是我目前可以看到的InfiniBand的应用。
　　如今，在存储、数据中心、网络通信等领域，InfiniBand都有比较强烈的呼声，但不知道为什么，总感觉雷声大，雨点小。是不是InfiniBand技术有什么问题?我看不是，要知道市场不是单纯由技术决定的，未来InfiniBand在市场将有怎样的表现，还是让市场的发展来回答，现在断言为时尚早。

network

Voltaire公司成立于1997年并于2000年开始Infiniband的研发工作。Voltaire公司的Infiniband产品于2003年开始推向市场，如今已成为Infiniband市场份额最大的Infiniband厂商。
        目前提供InfiniBand产品的厂商主要有Voltaire、Mellanox、Qlogic等几家厂商，其中Qlogic是在2007年底收购了SilverStorm才拥有的InfiniBand技术，在较早前的TopSpin被Cisco收购后逐渐淡出市场，目前Cisco着重发展以太网技术，不再涉足InfiniBand领域；Mellanox是InfiniBand技术的主要芯片供应商，所有的技术以及研发都致力于InfiniBand芯片领域，因此在交换机系统设计以及制造领域没有太多的经验。
        Voltaire是InfiniBand产品的领导者，为数据中心、高性能计算和云计算环境提供支持。Voltaire的系列服务器、光纤存储交换机和先进的管理软件可以大幅提高关键应用的性能，提高效率并降低成本。在世界财富TOP100中超过30%使用Voltaire的产品，同时，在世界超级计算机TOP500中，也大量采用了Voltaire的产品。
         在第33届世界超级计算机TOP500公布的名单中，152套使用Infiniband互连的系统中有54%都是Voltaire提供的产品，所占的比例是任何InfiniBand设备提供商的两倍以上。在中国的TOP100高性能计算机排行榜中，几乎达到100%。与2008年6月相比，InfiniBand是唯一一个在TOP500中以25%的速度连续增长的工业集群互联协议。

        Voltaire 20 和 40 Gb/s InfiniBand交换机不仅仅为世界顶级的科研机构提供高水平的互联服务，同时也为依靠高性能计算技术运行业务的商业和工业用户提供服务。美国NNSA/Los Alamos的超级计算机Roadrunner“走鹊”，是世界上性能最为强大的超级计算机，在TOP500中排名第一，速度达到1105万亿次/秒，而应用其中的Voltaire InfiniBand 系列交换机极大的促进了该系统性能的提升。此外，在应用InfiniBand的商业网点中，88%的用户使用了Voltaire的交换产品来构建其高性能应用平台。

成功案例：
美国 Los Alamos ，Roadrunner “走鹊”，1105万亿次/秒。（世界排名第一）
中国国防科技大学“天河一号”理论峰值1206万亿次/秒。
上海超算中心，曙光5000A，180.6万亿次/秒。（世界排名第十五）
中科院计算机网络信息中心，联想深腾7000，102.8万亿次/秒。（世界排名三十一）
……

        中科软作为Voltaire中国区总代理，致力于探索InfiniBand技术在各系统领域中的应用，以雄厚的技术实力在高性能平台设计、建设、测试、服务等领域占有一席之地；能为各种不同需求的客户提供完美的高性能计算、数据库加速和高速的分布式存储的整体解决方案。
         作为系统集成商，中科软在交通、航天、保险、金融、邮政、政府部门等行业拥有大量成功案例，在高性能计算、并行存储、虚拟化方面做出许多卓有成效的前沿性研究形成应用系统。