PCIExpress總線技術(shù)白皮書

1.1PCIExpress總線的起源和現(xiàn)狀

PCIExpress總線技術(shù)的演進(jìn)過程，實際上是計算系統(tǒng)IO接口速率演進(jìn)的過程。PCI總線是一種33MHz@ 32bit或者66MHz@64bit的并行總線，總線帶寬為133MB/s到最大533MB/s，連接在PCI總線上的所設(shè)備共享133MB/s～533MB/s帶寬。這種總線用來應(yīng)付聲卡、10/100M網(wǎng)卡以及USB1.1等網(wǎng)絡(luò)接口基本不成問題。隨著計算機和通信技術(shù)的進(jìn)一步發(fā)展，新一代的IO接口大量涌現(xiàn)，比如千兆（GE）、萬兆（10GE）的以太網(wǎng)技術(shù)、4G/8G的FC技術(shù)，使得PCI總線的帶寬已經(jīng)無力應(yīng)付計算系統(tǒng)內(nèi)部大量高帶寬并行讀寫的要求，PCI總線也成為系統(tǒng)性能提升的瓶頸，于是就出現(xiàn)了PCIExpress總線。PCIExpress總線技術(shù)在當(dāng)今新一代的存儲系統(tǒng)已經(jīng)普遍的應(yīng)用。PCIExpress總線能夠提供極高的帶寬，來滿足系統(tǒng)的需求。如下表所示：

表1PCIExpress對比

目前，PCI-E3.0規(guī)范也已經(jīng)確定，其編碼數(shù)據(jù)速率，比同等情況下的PCI-E2.0規(guī)范提高了一倍，X32端口的雙向速率高達(dá)320Gbps。

1.2PCIExpress總線的技術(shù)優(yōu)勢

PCI總線的最大優(yōu)點是總線結(jié)構(gòu)簡單、成本低、設(shè)計簡單，但是缺點也比較明顯：

1)并行總線無法連接太多設(shè)備，總線擴展性比較差，線間干擾將導(dǎo)致系統(tǒng)無法正常工作；

2)當(dāng)連接多個設(shè)備時，總線有效帶寬將大幅降低，傳輸速率變慢；

3)為了降低成本和盡可能減少相互間的干擾，需要減少總線帶寬，或者地址總線和數(shù)據(jù)總線采用復(fù)用方式設(shè)計，這樣降低了帶寬利用率。PCIExpress總線是為將來的計算機和通訊平臺定義的一種高性能，通用IO互連總線。

與PCI總線相比，PCIExpress總線主要有下面的技術(shù)優(yōu)勢：

1)是串行總線，進(jìn)行點對點傳輸，每個傳輸通道獨享帶寬。

2)PCIExpress總線支持雙向傳輸模式和數(shù)據(jù)分通道傳輸模式。其中數(shù)據(jù)分通道傳輸模式即PCIExpress總線的x1、x2、x4、x8、x12、x16和x32多通道連接，x1單向傳輸帶寬即可達(dá)到250MB/s，雙向傳輸帶寬更能夠達(dá)到500MB/s，這個已經(jīng)不是普通PCI總線所能夠相比的了。具體配置可以參照表1。

3)PCIExpress總線充分利用先進(jìn)的點到點互連、基于交換的技術(shù)、基于包的協(xié)議來實現(xiàn)新的總線性能和特征。電源管理、服務(wù)質(zhì)量（QoS）、熱插拔支持、數(shù)據(jù)完整性、錯誤處理機制等也是PCIExpress總線所支持的高級特征。

4)與PCI總線良好的繼承性，可以保持軟件的繼承和可靠性。PCIExpress總線關(guān)鍵的PCI特征，比如應(yīng)用模型、存儲結(jié)構(gòu)、軟件接口等與傳統(tǒng)PCI總線保持一致，但是并行的PCI總線被一種具有高度擴展性的、完全串行的總線所替代。

5)PCIExpress總線充分利用先進(jìn)的點到點互連，降低了系統(tǒng)硬件平臺設(shè)計的復(fù)雜

性和難度，從而大大降低了系統(tǒng)的開發(fā)制造設(shè)計成本，極大地提高系統(tǒng)的性價比和健壯性。從下面表格可以看出，系統(tǒng)總線帶寬提高同時，減少了硬件PIN的數(shù)量，硬件的成本直接下降。

1.3PCIExpress總線在萬兆存儲系統(tǒng)的應(yīng)用

在H3C公司開發(fā)的最新一代存儲產(chǎn)品IX3000中，采用Intel最新一代服務(wù)器硬件平臺技術(shù)，前端支持高達(dá)16個GE接口，或者8個GE+8個4GbFC接口，最高配置更可以支持多達(dá)4個10GE接口，后端接口可以提供6個SAS×4寬端口，達(dá)到72Gbps的后端訪問速率，提供無與倫比的磁盤訪問IOPS和吞吐量，只有PCIExpress總線架構(gòu)的系統(tǒng)才能滿足系統(tǒng)性能的需求。

IX3000存儲系統(tǒng)控制器系統(tǒng)架構(gòu)如下圖所示。系統(tǒng)采用4條×8的PCIE總線來擴展前端和后端接口，采用2條×8PCIE總線來實現(xiàn)2個控制器之間的緩存鏡像，采用2條×8PCIE總線作為系統(tǒng)內(nèi)部的控制和管理通道。其前端接口能夠安裝10GE接口卡或者GE+FCCOMBO接口卡，以及GE接口卡，后端PCIE接口用來和高性能的IO處理擴展卡連接，提供高性能IO處理、RAID計算以及CACHE鏡像管理等功能，并提供SAS后端接口用于連接SAS磁盤陣列，為用戶帶來前所未有的存儲新體驗。