走向点到点的互连---从PCI、PCI-X到PCI-Express

network

对未来计算平台芯片与芯片之间的带宽需求将连续增长。到现在为止，并行总线的发展能够跟上这样的需求。32位33兆的PCI已经发展到64位133兆的PCI-X。有了它，事务处理的量已大大增加。一个建议的解决方案正在从基于总线结构向点到点结构的方向变化。本文将关注PCI-Express，它在下一代计算平台中可能替代PCI和PCI-X。
在目前的结构中，外围设备（网络，存储和视频）使用像PCI或PCI-X那样的平行总线来连接的。平行总线已从32位33兆的PCI发展到了64位133兆的PCI-X。随着平行总线的时钟速率的增加这些总线支持的插槽数目就减少。平行总线通常包含地址/数据信号和一些边带信号。边带信号用来表示总线上数据的方向和事务处理的类型，还能用于表示中断或总线主控请求。一个典型的64位PCI-X总线在总共127个信号管脚中可包含64条地址/数据线和33个左右的边带信号。

由于网络、存储和视频的带宽需求已经增长，一些设计师们正着眼于把点到点的结构作为有潜力的解决方案。在基于总线的结构中，带宽是由总线中所有的设备来共享的。在PCI-Express 点到点的结构中，每个设备都由一个专用连接而不必要共享带宽。点到点的结构还有其它的优点。一个典型的PCI-Express连接使用两个LVDS（低电压差分信号）对，一对用于发送，一对用于接收。在这个结构中没有边带信号。下面的图显示了一个点到点的通道，它有两个差分对（一个发送一个接收）和一个地信号。一个PCI-Express通道在每个方向同时以2.5Gb/s传送数据并使用8b/10b编码。

PCI-Express提供了超越总线型PCI-X的一些优点。优点之一是为应用裁剪带宽的能力。PCI-Express信道能聚集以增加总带宽。PCI-Express通道的有效组合为x1，x2，x4，x8，x16和x32。可用的带宽直接与通道的数目成比例。通道数加倍带宽也加倍。一个10Gb以太网控制器可以使用4条PCI-Express通道来与控制器的带宽相匹配。由于PCI-Express通道不是被多个设备共享的，它的结构本质上是可热替换的。PCI-Express使用消息传递来处理一些PCI所提供的边带信号。

PCI-Express还提供了把大的信道分成小的信道的能力。一个8通道的PCI-Express连接能分为二个4通道的连接，四个2通道的连接，或八个1通道的连接。PCI-Express另一个优点是减少通道所需的信号数目。在传统的PCI中约有127个管脚。如果芯片厂商有兴趣提供多个PCI总线来增加额外的带宽，那么他们要为每段总线增加127个管脚。相比之下，4通道的PCI-Express连接是20个管脚。这对芯片厂商会造成重复PCI总线的困难，其主要成本之一是封装。一个有趣的度量单位是每管脚的带宽。全部管脚计数包括芯片厂商使用不同的技术所需要的地址、数据、边带、电源和地线连接。由于PCI-Express的可扩展，它的每管脚的带宽从1信道至16信道保持相同。

用于母板的器件从PCI到PCI-Express的转变将在2004年出现。转向PCI-Express的主要驱动力是每管脚的带宽，可扩展性，和带宽。从软件的观点PCI-Express看起来就象PCI。PCI-Express的设计师们要维持与为PCI设备编写的所有软件都兼容。一个仍要回答的问题是何时我们可以看到基于PCI-Express的插板。现在标准已有了，这只不过是市场采用率的事情了。

network

PCI™（外围部件互联）技术是一种极其常见的、用于个人和工业计算机、通信开关、路由器及仪器仪表的总线标准。它解决了众多兼容性问题和早期的 ISA 与 VME 标准遭遇的性能限制问题。
PCI-X™ 技术是 PCI 标准的延伸，将时钟速度从原来的 66 MHz 加倍为现在的 133 MHz，并将数据速率增加了2倍。
为何使用 Xilinx PCI 和 PCI-X IP 解决方案？ 已经证明我们的解决方案在多个平台 - 从低成本到带有针对带宽进行了优化的源代码的高密度 FPGA - 上均能获得最大吞吐量。
Xilinx 所有用于 PCI 与 PCI-X 技术的 IP 核均在最大吞吐量下运行，并且等待状态突发量为零。例如，PCI 解决方案的 64 位 Initiator/Target 使得您能够创建 64 位 PCI 系统。该系统能够在高达 66 MHz 的速度下运行，并且可以持续提供高达 528 Mb/s 的吞吐量 - PCI 的最高性能。我们的 32 位 Initiator/Target 核支持高达 132 Mb/s 的速度。
Xilinx PCI 解决方案FPGA 器件性能IP技术文档 验证IP 评估 Virtex™-5、Virtex-4、Virtex-II Pro、Spartan™-3 系列64 位
66 MHz
简介数据手册 兼容性 立即评估 Virtex-5、Virtex-4、Virtex-II Pro、Spartan-3 系列32 位
66 MHz 简介数据手册 兼容性 立即评估 Xilinx PCI-X 解决方案 FPGA 器件性能IP技术文档 验证IP 评估 Virtex-5、Virtex-4、Virtex-II Pro64 位
133 MHz 简介数据手册兼容性立即评估

network

PCI Express界面真的样样都比PCI-X行吗？PCI Express界面真的样样都比PCI-X行吗？

HighPoint的RocketRAID 2320是第二片采取PCIe接口的SATA II RAID控制卡。
PCI Express（PCIe）接口上市已经有一年半的时间了，但是截至目前为止，其主要还是用在显示卡接口上，虽然在桌上型计算机主机板充斥许多附有PCI Express扩充槽，不过，真正让其高频宽的特点能够淋漓尽致的发挥，还是只有在服务器和工作站等级的主机板上才较常看到。
理论上，PCI Express x16能够提供比PCI-X 533接口还要好的效能，在数字上显示出8GB/s对上4.26GB/s的差别，可是当初PCIe并不是为了要取代PCI-X而发展的，而是因为旧的适配卡真的需要有所翻新之故，最主要还是冲着AGP显示接口世代交替而来，及预先为双显示卡市场铺路，同时老旧的 32位的并列PCI总线也急需更新，因为以其这么低的频宽又要同时分享给所有的PCI接口的装置来说，以今天的眼光来看真只能说是非常跛脚的界面，新一代的应用举凡Gigabit以太网络、高传真数字内容装置（high definition content-related hardware）和磁盘阵列控制卡，都需要较高的频宽及随时恒定的连接效率。
这让我们想知道PCI Express做为系统的扩充接口能有多少真正的功效，并不真的在意能比PCI-X界面快，最要紧的还是其单纯和提供个别充足频宽的能力，因此有愈来愈多的专业服务器和工作站等级的系统芯片组开始强调PCI Express接口，毕竟对任何装置而言，提供一个充足专属的频宽还是非常受用的。
其中最受人瞩目的应用还是非大量储存与网络配接卡，因为频宽的瓶颈会直接冲击其市场的存活，而且为了能够测试10GBit以太网络所需要大量储存装置，引起我们今天做出测试储存数组RAID装置的决定。
我们一共选出两款HighPoint最新的Serial ATA II RAID RocketRAID控制器，型号分别是2220和2320，这两款控制卡采用相同技术但是唯有接口不一样，2220是PCI-X机种，而2320则是x4 PCI Express接口，不过后者似乎是比较快一些。

network

什么是PCI-X？

PCI-X接口是并连的PCI总线（Peripheral Components Interconnect）的更新版本，仍采用传统的总线技术，不过有更多数量的接线针脚，同时，如前所述的所有的连接装置会共享所有可用的频宽。
与原先PCI接口所不同的是：一改过去的32位，PCI-X采用64位宽度来传送数据，所以频宽自动就倍增两倍，而扩充槽的长度当然就不可避免的加大了，除此之外，其余的包含传输通讯协议、讯号和标准的接头格式都一并兼容，好处是3.3伏特的32位PCI适配卡可以用在PCI-X扩充槽上，当然如果你愿意，也可以将64位PCI-X适配卡接在32位PCI扩充槽上，不过，频宽速度将会大减。
这个总线宽度倍增的改良版本对一些专业储存控制器，例如SCSI、iSCSI、光纤信道（Fibre Channel）、10GBit以太网络和InfiniBand等其它传输装置，仍然无法提供足够的频宽，因此引进PCI-SIG（Special Interest Group）接口以提供数个不同速度等级，可以从PCI-X 66（Rev. 1.0b）一路上到PCI-X 533（Rev. 2.0）规格，以下表列这些技术细节：

总线宽度	频率速度	功能	频宽
PCI-X 66	64位	66MHz	Hot Plugging, 3.3 V	533MB/s
PCI-X 133	64位	133MHz	Hot Plugging, 3.3 V	1.06GB/s
PCI-X 266	64位，另有16位选项	133MHz Double Data Rate	Hot Plugging, 3.3 & 1.5 V, ECC supported	2.13GB/s
PCI-X 533	64位，另有16位选项	133MHz Quad Data Rate	Hot Plugging, 3.3 & 1.5 V, ECC supported	4.26GB/s

你可以看到当频率速度到达了PCI-X 133的133MHz时候，就再也升不上去，为了让频宽能够倍增，于是不惜将主存储器及前端总线上已经行之有年而且路人皆知的技术搬过来，因此，PCI-X 266用上Double Data Rate技术，让每一个时钟脉冲的上升与下降边缘都可以传输数据，所以有多出了一倍的机会来传输数据，而PCI-X 533规格更进一步采用每一个时钟脉冲可以传送四次（Quad Data Rate）的技术，英特尔早在所有的Pentium 4和Xeon处理器的前端总线就用上这些技术了。

左边白色扩充接槽就是64位的PCI-X接口。

network

PCI-X的各式组态的比较 PCI-X的各式组态的比较 资料来源：PCI-SIG PCI-X 2.0的简报数据。 如我们先前所提的，最大到达4.26GB/s的总频宽是由所有共接在总线装置所共享，一旦有任何一个装置因为无法承受高速而需要降低速度时，会导致整个系统一起减速，甚至掉到最慢的33MHz速度，这大慨就是为了兼容性而所需要付出的代价，不过，你也可以在主机板上多设计一个以上的PCI-X 桥接分隔装置，主机板大厂诸如华硕（Asus）、Supermicro与泰安（Tyan）在其专业级产品上都有做此设计。 后续兼容（backwards compatibility）的策略是PCI-X的一大卖点，系统管理者需要能够确认所有的硬件装置都能完全正常的衔接，这也是何以服务器或工作站等级系统对新技术的引进需要花这么多时间，一个拥有充足效能的大型硬件装置的引进，如果没有确实的后续兼容技术是没人敢用的，这种情形势必不会马上改变，因此PCI-SIG规格现在已经有PCI-X 1066等级的标准诞生了，对快速数据压缩、自动断线备援（auto fail-over）和备援数据传输路径等机制将会因加倍频宽而受惠，同时也可进一步支持同步传输（isochronous transfers），不过可能会牺牲传统PCI装置的兼容性。 资料来源：PCI-SIG PCI-X 2.0简报，为了要提供多个高速频宽的PCI-X插槽，可以设计多个PCI-X桥接组件部署在主机板上。

network

由PCI Express带来的革新由PCI Express带来的革新 这些分别是x16和x1的PCI Express插槽。 很明显的，在专业级市场上，频宽增加的因素不是PCI-X转成PCI Express接口的主要推手，因为PCI-X所提供的频宽已经绰绰有余了，因此，一定有其它的原因致之，我们先来看一下目前PCI Express的速度。 插槽模式Modes (「Lanes」) 频宽 连接频率速度 x1 250MB/s左右 100MHz x2 500MB/s左右 100MHz x4 1GB/s左右 100MHz x8 2GB/s左右 100MHz x16 4GB/s左右 100MHz 在上图的范例中，你可以看到PCI Express x1插槽是最单纯的一种组态，只需要非常短的接槽，而且比33MHz的32位PCI接口的频宽至少多出两倍，这主要是拜串行运作技术（serial operation），这有别于PCI（-X）采用一个接脚只传输一个位的并列传输方式，在PCI Express只使用两对低电压的差位讯号排线（low-voltage differential signaling pairs），分别各跑2.5GBit/s速度，PCIe并且在每八个位的数据串上用十位来加以编码，因此 2.5GBit/s速度可以传输250MB/s数据（因为2.5 G / 10 = 250M），与33MHz的32位PCI接口的312.5MB/s传输速度（因为33 M x 32/ 8 = 312.M）相比，就可以看到明显区别，再者，较少插槽接脚数也有助于主机板布线绕图的简易性。

network

磁盘阵列的产生磁盘阵列的产生

非常简单就可以最多用到八颗硬盘来产生磁盘阵列，在这里我们一共享了七颗Seagate NL35硬盘及一颗Barracuda 7200硬盘，每一颗都有 400GB，其中的Barracuda硬盘只是没有经过验证足以担任长效型的运作，也就是一天24小时一个礼拜七天的随时运作。

测试设定

系统硬件
处理器	2x英特尔Xeon Processor (Nocona core) 3.6 GHz, FSB800, 1MB L2 快取
系统平台	华硕NCL-DS (Socket 604)主机板 英特尔E7520系统芯片组, BIOS 1005
RAM内存	Corsair CM72DD512AR-400 (DDR2-400 ECC, registered) 2x 512MB, CL3-3-3-10 Timings
系统硬盘机	Western Digital Caviar WD1200JB 120GB, 7,200 RPM, 8MB Cache, UltraATA/100
大储存容量控制器	英特尔 82801EB UltraATA/100 Controller (ICH5) Silicon Image Sil3124, PCI-X
网络	Broadcom BCM5721 On-Board Gigabit Ethernet NIC
显示卡	On-Board Graphics主机板上随附显示芯片 ATI RageXL, 8MB
系统硬件
效能测量	c’t h2benchw 3.6
I/O效能	IOMeter 2003.05.10 Fileserver-Benchmark Webserver-Benchmark Database-Benchmark Workstation- Benchmark
系统软件与驱动程序
操作系统	微软Windows Server 2003 Enterprise Edition, Service Pack 1
系统平台驱动程序	英特尔Chipset Installation Utility 7.0.0.1025
显示卡驱动程序	窗口预设显示卡驱动程序

network

数据传输率对上I/O效能数据传输率对上I/O效能
数据传输效能是一个非常有趣的比较结果，事实上，PCI-X和PCI Express的数字差异不大，用八颗硬盘做成RAID 0磁盘阵列的组态还无法用尽PCIe x4或PCI-X 133所能提供的最大频宽，所以有没有什么强烈的理由在这种组态条件之下，去用价格比较高的PCI Express控制卡呢？
答案是肯定的，我们故意挑选两片几乎一模一样控制卡，每天一模一样的测试环境，你会发现到PCIe控制卡在I/O效能上，事实上提供比较多的好处。
比较结果

network

比较结果（续）

network

分析
如果你期望由PCI-X转换到PCI Express而可以一举大幅度的提高整体数据处理能力的话，那你将会大失所望，此二者在相同的储存数组设定组态下，所得到的传输速率的差别几乎微乎其微，虽然我们也提供RAID 5组态的测试结果，与RAID 0组态的测试结果也只是得分的数字增加而已，并无法在传输速率的差异上有所彰显。
但是，如果改看I/O效能的比较，结果就会不一样，PCIe控制卡会在数据库、档案服务器和工作站应用的比较当中领先，虽然只有在深层排序指令（deeper queues），才看得到较大的好处，不过，在因特网服务器（web server）的应用上则一点都没有效。
主要的原因是读取与写入指令的分布有所差异之故，因为在IOmeter因特网服务器上不会写入任何的东西，而其它的应用则读写的动作较为平均，PCI Express拜其两对串行传输排线之助，提供专属的上传或下载频宽，因此在I/O效能上能有长足的帮助。
结论

在实际生活中，PCI-X和PCI Express的差异非常小，因为二者所提供的频宽对磁盘阵列的应用，即使用到八颗硬盘的RAID组态，都还游刃有余。
不过，当你追加更多的适配卡、更多的读写指令运算时，PCI Express接口所显现出的优势会越明显，这完全要感谢PCI Express所特有的独立上传与下载频宽的设计，让专属的应用得以充分享受专属频宽的优点，可以想见的，甚至在服务器级的应用，未来还是PCI Express的天下，当然，这个演进的过程即使不是好几年，也会需要好几个月，还得等到PCI Express的硬件可以更臻成熟，真的可以在市场上打败目前已经顺利导入的PCI-X总线。