关于infiniband的文章

network

infiniband是一个统一的互联结构，既可以处理存储i/o、网络i/o，也能够处理进程间通信(ipc)。它可以将磁盘阵列、sans、 lans、服务器和集群服务器进行互联，也可以连接外部网络（比如wan、vpn、互联网）。设计infiniband的目的主要是用于企业数据中心，大型的或小型的。目标主要是实现高的可靠性、可用性、可扩展性和高的性能。infiniband可以在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的i/o通道，因此能保持数据中心在局部故障时仍能运转。
　　如果深入理解，你会发现infiniband与现存的 i/o技术在许多重要的方面都不相同。不像pci、pci-x、 ide/ata 和 scsi那样共享总线，因此没有相关的电子限制、仲裁冲突和内存一致性问题。相反，infiniband在交换式互联网络上，采用点到点的、基于通道的消息转发模型，同时，网络能够为两个不同的节点提供多种可能的通道。
　　这些方面，infiniband更像以太网，而以太网构成lans、 wans和互联网的基础。infiniband和以太网都是拓扑独立――其拓扑结构依赖于交换机和路由器在源和目的之间转发数据分组，而不是靠具体的总线和环结构。像以太网一样，infiniband能够在网络部件故障时重新路由分组，分组大小也类似。infiniband的分组大小从256b到4kb，单个消息（携带i/o处理的一系列数据分组）可以达到2gb。
　　以太网跨越全球，infiniband则不同，其主要用于只有几间机房的数据中心，分布于校园内或者位于城市局部。最大距离很大程度上取决于缆线类型（铜线或光纤）、连接的质量、数据速率和收发器。如果是光纤、单模的收发器和基本数据速率的情况下，infiniband的最大距离大约是10公里。
　　如同以太网一样使用交换机和路由器， infiniband在理论上能够跨越更远的距离，尽管如此，在实际应用中距离要受到更多的限制。为了确保数据分组的可靠传输，infiniband具备诸如反应超时、流控等特点，以防止阻塞造成的分组丢失。延长infiniband的距离将降低这些特征的有效性，因为延迟超过了合理的范围。
　　为了超越数据中心的范围，其它i/o技术必须解决长距离的问题。infiniband厂商通过能够连接到以太网和光纤通道网络的设备来解决这个问题（光纤通道的最大距离大约为10公里，因此桥接设备使得infiniband能够与现存的用光纤通道连接的校园网络和城域网络的分布式数据中心相兼容）。
　　更高的速度
　　infiniband的基本带宽是2.5gb/s，这是infiniband 1.x。infiniband是全双工的，因此在两个方向上的理论最大带宽都是2.5gb/s，总计5gb/s。与此相反，pci是半双工，因此32位、 33mhz的pci总线单个方向上能达到的理论最大带宽是1gb/s，64位、133mhz的pci-x总线能达到8.5gb/s，仍然是半双工。当然，任何一种总线的实际吞吐量从来没有达到理论最大值。
　　如果要获取比infiniband 1.x更多的带宽，只要增加更多缆线就行。infiniband 1.0规范于2000年10月完成，支持一个通道内多个连接的网络，数据速率可提高4倍(10gb/s)和12倍(30gb/s)，也是双向的。
　　infiniband是在串行链路上实现超高速率的，因此电缆和连接器相对并行i/o接口pci、ide/ata、scsi和ieee-1284来说，接口小也便宜。并行链路有一个固有的优势，因为它的多个缆线相当于高速公路上的多个车道，但现代的i/o收发器芯片使串行链路达到更高的数据速率，并且价格便宜。这就是为什么最新的技术――infiniband、ieee-1394、串行ata、串行连接scsi、usb采用串行i/o而不是并行i/o。
　　infiniband的扩展性非常高，在一个子网内可支持上万个节点，而每个网络中可有几千个子网，每个安装的系统中可以有多个网络结构。 infiniband交换机通过子网路由分组，infiniband路由器将多个子网连接在一起。相对以太网，infiniband可以更加分散地进行管理，每个子网内有一个管理器，其在路由分组、映射网络拓扑、在网络内提供多个链路、监视性能方面起决定性的作用。子网管理器也能保证在特别通道内的带宽，并为不同优先权的数据流提供不同级别的服务。子网并不一定是一个单独的设备，它可以是内置于交换机的智能部件。
　　虚拟高速公路
　　为了保证带宽和不同级别的服务，子网管理器使用虚拟通道，其类似于高速公路的多个车道。通道是虚拟的，而不是实际存在的，因为它不是由实际的缆线组成的。通过使用字节位元组，并根据不同的优先权，同一对缆线可携带不同分组的片断。
　　infiniband 1.0定义了16个虚拟通道，0到15通道。通道15预留给管理使用，其它通道用于数据传输。一个通道专用于管理可以防止流量拥塞时妨碍网络的正常管理。比如，网络随时准备改变其拓扑结构。infiniband设备是热插拔的，从网络中拔出设备时要求网络迅速重新配置拓扑映射。子网管理器使用通道15来查询交换机、路由器和终端节点其有关配置的改变。
　　除了数据虚拟通道外预留虚拟管理通道，这就是带内管理。infiniband也提供带外管理的选项。在infiniband的底板配置中，管理信号使用独立于数据通道的特殊通道。底板配置更多用于服务器内和存储子系统，同样地，pci和pci-x的底板也位于此。
　　除了虚拟通道上直接传输，子网管理器也可以对两个节点之间的点对点的通道调整并匹配数据速率。比如，如果一个服务器有一个到网络的4倍的接口，而发送数据的目标存储子系统只有1倍的接口，交换机能够自动建立兼容的1倍通道，而不丢失分组和阻止更高速率的数据传输。
　　实现infiniband
　　infiniband不是必须要取代现存的i/o技术。但会造成相关的争论，因为其它的i/o标准也有很多的支持者，而且许多公司已经对这种传统的技术进行大量的投资。在计算机业界，每一种新技术的出现都倾向于将其它的技术规类于传统的范畴。至少在理论上，infiniband能与pci、pci-x、 scsi、 光纤通道、ide/ata、串行 ata、 ieee-1394以及其它在数据中心存在i/o标准共存。相反，3gio和hypertransport是板级的互联，而快速i/o和致密pci主要用于内嵌式系统。
　　为了与其它的i/o技术协同工作，infiniband需要能匹配物理接口和转换通信协议的桥接适配器。举例来说， adaptec正在测试能将infiniband连接到串行ata和串行scsi的磁盘接口。然而，不要假定你需要的桥接设备已经存在，并且经过实际工作的验证、价格可行。
　　另一个要考虑的是性能问题。连接两种不同的i/o标准通常要增加数据通道的延迟。在最坏的情况下，将infiniband 网络引入到一个已经安装多个不同技术组成的网络中，如果组织管理差，会降低其整体性能。infiniband的支持者声称理想的解决方案是完整的 infiniband体系结构。任何部件都可以直接连接到infiniband网络，可以使用优化的文件协议，最好是使用直接访问文件系统(dafs)。
　　dafs独立于传输，是基于nfs的共享式文件访问协议。它是优化过的，用于1到100台机器的集群服务器环境中的i/o密集、cpu受限、面向文件的任务。典型的应用包括数据库、web服务、e-mail和地理信息系统(gis)，当然也包括存储应用。
　　it管理员感兴趣的其它的与infiniband相关协议是：scsi远程直接内存访问(rdma)协议、共享资源协议(srp)、ip over infiniband (ipoib)、直接套节字协议(sdp)、远程网络驱动接口规范(rndis)。
　　srp的开发在一些公司进展顺利，比如，已经开发出早期版本并运行在windows 2000上协议的adaptec。oem的厂商和合作伙伴正在测试beta系统。adaptec认为srp对于高性能的sans会相当出众，但必须解决多厂商产品间的兼容。最终版本的srp可能取决于操作系统的驱动程序和服务器的支持，预计在本年下半年或2003年上半年完成。
　　ipoib，将ip协议映射到infiniband，正在被ietf的一个工作组定义。ipoib包括ipv4/ipv6的地址解析、ipv4/ipv6的数据报的封装、网络初始化、组播、广播和管理信息库。预计在本年下半年或2003年上半年完成。
　　sdp试图解决其它协议的几个缺陷，特别是相对高的cpu和内存带宽的利用率。sdp基于微软的winsock direct协议，类似于tcp/ip，但优化后用于infiniband，以降低负荷。一个工作组在2000年下半年开始定义sdp，今年2月完成了 1.0规范。
　　rndis是微软开发的协议，用于基于通道的即插即用总线的网络i/o，比如usb和ieee-1394。infiniband rndis 1.0规范即将完成