博威---云架构决胜云计算

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 2386|回复: 1

Infiniband——替代TCP/IP的I/O革命者

[复制链接]
发表于 2011-2-13 18:24:08 | 显示全部楼层 |阅读模式
Infiniband——替代TCP/IP的I/O革命者



  双核以及多核技术的采用使得处理器的性能不断提升,网络带宽也在不断增加,但是你是否注意到了,为什么我们依然会感觉服务器不够快?问题就在于I/O。说到I/O,有关Infiniband技术应该引起用户的足够重视。身世InfiniBand是由InfiniBand行业协会(IBTA,InfiniBand Trade Association)定义的一项标准,它是一种基于通道的、采用交换结构的I/O体系。
  IBTA成立于1999年8月31日,由Compaq、惠普、IBM、戴尔、英特尔、微软和Sun七家公司牵头,共同研究发展的高速先进的I/O标准。最初的命名为System I/O,1999年10月,正式改名为InfiniBand。InfiniBand是一种长缆线的连接方式,具有高速、低延迟的传输特性。据星盈科技李泌介绍,InfiniBand用于服务器系统内部,主要用于处理器/内存与I/O(如硬盘、网卡等)的连接,由于InfiniBand具有长缆线连接的特性,从而使得处理核心与I/O在保持运作一致性的同时,在实际的配置上,实现分离的配置。据李泌介绍,星盈科技推出的超级刀片计算机,就采用了类似的技术。
  但是InfiniBand用于服务器系统内部并没有发展起来,原因在于英特尔和微软在2002年就退出了IBTA。在此之前,英特尔早已另行倡议Arapahoe,亦称为3GIO(3rd Generation I/O,第三代I/O),即今日鼎鼎大名的PCI Express(PCI-E),InfiniBand、3GIO经过一年的并行,英特尔终究还是选择了PCI-E。因此,现在应用InfiniBand,主要是用于在服务器集群,系统之间的互联。
  需要说明的是,即使在系统之间的互联,InfiniBand也还面临着竞争对手,这是因为自英特尔、微软退出IBTA之后,IBM、惠普也在不久后退出,并在第二年提出RDMA(Remote Direct Memory Access,远程直接内存存取)技术,期望用10Gbps Ethernet搭配TOE(TCP/IP Offload Engine,TCP/IP负荷卸载引擎)的硬件加速设计,以更标准、低廉的方式与InfiniBand进行竞争。此外,由Broadcom、Chelsio、惠普、NetApp和微软等厂商推动的iWarp,一种用于远程直接内存访问、远程直接数据放置的保护协议,它淘汰了两端的网卡,也是一种标准的协议。另外,英特尔的I/O加速技术也与InfiniBand具有一定的竞争关系。工作原理
  与其他网络协议(如TCP/IP)相比,InfiniBand具有更高的传输效率。原因在于许多网络协议具有转发损失的数据包的能力,但是由于要不断地确认与重发,基于这些协议的通信也会因此变慢,极大地影响了性能。
  需要说明的是,TCP协议是一种被大量使用的传输协议,从冰箱到超级计算机等各种设备上都可以看到它的身影,但是使用它必须付出高昂的代价:TCP协议极其复杂、代码量巨大并且充满了各种特例,而且它很难卸载(所谓卸载就是不占用CPU的运行时间)。
  与之相比,InfiniBand使用基于信任的、流控制的机制来确保连接的完整性,数据包极少丢失。使用InfiniBand,除非确认接收缓存具备足够的空间,否则不会传送数据。接受方在数据传输完毕之后, 返回信用来标示缓存空间的可用性。通过这种办法,InfiniBand消除了由于原数据包丢失而带来的重发延迟,从而提升了效率和整体性能。
  目前,基于InfiniBand技术的网卡的单端口带宽最大可达到20Gbps,基于InfiniBand的交换机的单端口带宽最大可达60Gbps,单交换机芯片可以支持达480Gbps的带宽。在2005年的4月份,Cisco公司收购了InfiniBand方案提供商Topspin; 而专业存储厂商QLogic公司也陆续收购了InfiniBand技术厂商SilverStorm公司和PathScale公司,开始进军InfiniBand领域。

aw49_1.jpg

  [/url]
  据曙光公司[url=/tag/3326/index.html]技术支持
中心袁伟介绍,目前曙光的高性能计算机全部采用InfiniBand技术进行节点之间的互联,用InfiniBand替代了Myrinet。原因在于,Mrynet在2Gbps带宽之后,在向10Gbps技术的发展上,路线图不清晰,技术实现上也不好。与之相比,20Gbps InfiniBand技术已经非常成熟,在价格上也具有竞争力。
  据宝德服务器事业部经理程佶透露, 宝德InfiniBand服务器的出货主要集中在高性能计算领域,占有30%~40%的份额,其余高性能计算采用千兆以太网的连接方案。程佶表示,除了高性能计算领域之外,其他领域应用InfiniBand服务器的前景并不十分看好。原因在于InfiniBand的价格还是比较高,仅InfiniBand的HCA(主通道适配器)卡就需要4000元~5000元人民币,而性能的提升仅在10%~15%之间。因此,价格将成为InfiniBand服务器进入企业市场的障碍。
  据了解,目前IBM、惠普、戴尔、SUN等公司都对InfiniBand做出了积极的响应。在它们的InfiniBand服务器解决方案中,有的在用标准的InfiniBand HCA, 有的在用专门设计的Mezzanine卡,有的在用标准的InfiniBand交换机,有的在用专门设计的交换模块。目前InfiniBand服务器大多采用基于PCI-E的接口,如Arima(华宇)、Tyan(泰安)、SuperMicro(超微)等,因为PCI-E比PCI-X能够提供更高的带宽和更低的延时。
  记者日前还采访了InfiniBand HCA卡以及交换机芯片的核心供应商—Mellanox公司亚洲区技术总监宋庆春。据他介绍,InfiniBand的应用领域已变得越来越广。从2005年InfiniBand开始进入存储市场以来,已有越来越多的存储客户开始使用InfiniBand技术。他预计到2008年~2009年,InfiniBand应该成为存储市场的主力。目前主流的存储厂商除了EMC之外,其余厂商都宣布了InfiniBand的存储解决方案。分析其中的原因,宋庆春认为,在带宽、价格方面,InfiniBand均比FC方案具有优势,其中InfiniBand带宽为20Gbps,而FC只有4 Gbps,在价格上,一块FC 网卡就要上万元,远比InfiniBand HCA卡昂贵。另外,更为主要的是:InfiniBand是一种标准开放的协议,具有更多的厂商支持。因此,InfiniBand在SAN存储应用里的优势非常明显。
  对于InfiniBand而言,它所具有的整合特性,使得它在数据中心将会得到更多的应用。宋庆春表示,InfiniBand的一个端口可以虚拟成为8个虚拟的通道,而这些虚拟的通道可以分别与数据中心中的FC SAN存储模块、计算模块、管理模块以及通信模块进行连接,从而实现基于InfiniBand的统一管理。推广与应用InfiniBand作为一种高带宽、低延时的连接技术,在数据库集群,在金融分析、制造业、石油、气象、生物等仿真技术领域正在得到越来越多的应用,并成为市场的主流。据6月27日发布的全球HPC TOP 500排名情况来看,InfiniBand的份额实现了强有力的增长,从上届的78套增加到了现在的127套。
  “十一五”期间,我国将会在明年推出两台具有百万亿次计算能力的超级计算机,一台在中科院计算所,一台在上海超级计算中心。据业内人士透露,从目前实现百万亿次计算能力的设计方案来看,绝大多数都采用了InfiniBand的方案。可以说,在高性能计算领域,InfiniBand已经占据了主流的地位。
    上海超级计算中心副主任袁俊表示,对于InfiniBand而言,更多的考验是在商用计算领域,特别是在存储、在数据中心的应用。据介绍,在这些应用领域大多会采用一种混合计算的方案,在服务器、FC SAN存储,以及以太网之间部署InfiniBand交换机来提高通信的效率以及存储的吞吐量。此外,InfiniBand也被用于解决刀片服务器扩展能力受限的问题,通过提供与外部PCI 扩展模块的连接,InfiniBand 使多个刀片服务器或机箱能够共享原有的PCI 外部设备。这种方法不但节约了空间,而且使客户的多个服务器能够共用设备。编看编想 还是让市场来回答
  从1999年推出以来,InfiniBand经历了太多的变迁,其中很多变化并不是技术决定的,因此,不是亲历者很难说得清楚。我接触InfiniBand是从接触HPC开始的,当时上海超算中心在应用HPC过程中,连接计算节点的Myrinet网络,存在交换机节点作业完成不释放的问题,为此,他们考虑采用更加可靠的互联方式,其中就提到了InfiniBand。
  再次接触InfiniBand是在刀片服务器中。刀片服务器最初的用户主要是“两油”,也就是“石油”和“网游”,其中,石油是高性能计算的代表,网游则是电信应用的代表。刀片服务器为满足HPC应用的需要,需要支持具有更高带宽、更低延迟的InfiniBand交换机(刀片服务器中称网络模块)。这是我目前可以看到的InfiniBand的应用。
  如今,在存储、数据中心、网络通信等领域,InfiniBand都有比较强烈的呼声,但不知道为什么,总感觉雷声大,雨点小。是不是InfiniBand技术有什么问题?我看不是,要知道市场不是单纯由技术决定的,未来InfiniBand在市场将有怎样的表现,还是让市场的发展来回答,现在断言为时尚早。
 楼主| 发表于 2011-2-13 18:26:12 | 显示全部楼层
Voltaire公司成立于1997年并于2000年开始Infiniband的研发工作。Voltaire公司的Infiniband产品于2003年开始推向市场,如今已成为Infiniband市场份额最大的Infiniband厂商。
        目前提供InfiniBand产品的厂商主要有Voltaire、Mellanox、Qlogic等几家厂商,其中Qlogic是在2007年底收购了SilverStorm才拥有的InfiniBand技术,在较早前的TopSpin被Cisco收购后逐渐淡出市场,目前Cisco着重发展以太网技术,不再涉足InfiniBand领域;Mellanox是InfiniBand技术的主要芯片供应商,所有的技术以及研发都致力于InfiniBand芯片领域,因此在交换机系统设计以及制造领域没有太多的经验。
        Voltaire是InfiniBand产品的领导者,为数据中心、高性能计算和云计算环境提供支持。Voltaire的系列服务器、光纤存储交换机和先进的管理软件可以大幅提高关键应用的性能,提高效率并降低成本。在世界财富TOP100中超过30%使用Voltaire的产品,同时,在世界超级计算机TOP500中,也大量采用了Voltaire的产品。
         在第33届世界超级计算机TOP500公布的名单中,152套使用Infiniband互连的系统中有54%都是Voltaire提供的产品,所占的比例是任何InfiniBand设备提供商的两倍以上。在中国的TOP100高性能计算机排行榜中,几乎达到100%。与2008年6月相比,InfiniBand是唯一一个在TOP500中以25%的速度连续增长的工业集群互联协议。


        Voltaire 20 和 40 Gb/s InfiniBand交换机不仅仅为世界顶级的科研机构提供高水平的互联服务,同时也为依靠高性能计算技术运行业务的商业和工业用户提供服务。美国NNSA/Los Alamos的超级计算机Roadrunner“走鹊”,是世界上性能最为强大的超级计算机,在TOP500中排名第一,速度达到1105万亿次/秒,而应用其中的Voltaire InfiniBand 系列交换机极大的促进了该系统性能的提升。此外,在应用InfiniBand的商业网点中,88%的用户使用了Voltaire的交换产品来构建其高性能应用平台。



成功案例:
美国 Los Alamos ,Roadrunner “走鹊”,1105万亿次/秒。(世界排名第一)
中国国防科技大学“天河一号”理论峰值1206万亿次/秒。
上海超算中心,曙光5000A,180.6万亿次/秒。(世界排名第十五)
中科院计算机网络信息中心,联想深腾7000,102.8万亿次/秒。(世界排名三十一)
……

        中科软作为Voltaire中国区总代理,致力于探索InfiniBand技术在各系统领域中的应用,以雄厚的技术实力在高性能平台设计、建设、测试、服务等领域占有一席之地;能为各种不同需求的客户提供完美的高性能计算、数据库加速和高速的分布式存储的整体解决方案。
         作为系统集成商,中科软在交通、航天、保险、金融、邮政、政府部门等行业拥有大量成功案例,在高性能计算、并行存储、虚拟化方面做出许多卓有成效的前沿性研究形成应用系统。

您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|Archiver|boway Inc. ( 冀ICP备10011147号 )

GMT+8, 2024-3-28 23:32 , Processed in 0.099588 second(s), 19 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表