NVIDIA高速GPU互聯(lián)技術(shù) 鋪平百億億次級(jí)計(jì)算的道路
[導(dǎo)讀]NVIDIA近日宣布，該公司計(jì)劃將名為 NVIDIANVLink的高速互連技術(shù)集成到其未來的GPU中，讓GPU與CPU之間共享數(shù)據(jù)的速度能夠比當(dāng)今速度快5 - 12倍。這將消除長(zhǎng)期以來的瓶頸，有助于鋪平新一代百億億次級(jí)(Exascale)超級(jí)計(jì)
NVIDIA近日宣布，該公司計(jì)劃將名為 NVIDIANVLink的高速互連技術(shù)集成到其未來的GPU中，讓GPU與CPU之間共享數(shù)據(jù)的速度能夠比當(dāng)今速度快5 - 12倍。這將消除長(zhǎng)期以來的瓶頸，有助于鋪平新一代百億億次級(jí)(Exascale)超級(jí)計(jì)算機(jī)的道路，這種超級(jí)計(jì)算機(jī)比當(dāng)今最強(qiáng)大的系統(tǒng)還要快50-100倍。
NVIDIA將把NVLink技術(shù)添加到其Pascal GPU架構(gòu)當(dāng)中，該架構(gòu)將承接今年全新的NVIDIA Maxwell計(jì)算架構(gòu)，預(yù)計(jì)將于2016 年推出。這一全新的互聯(lián)技術(shù)是與IBM合作開發(fā)的，IBM 正在將該技術(shù)融入到其未來版本的 POWER CPU 當(dāng)中。
IBM 副總裁兼 IBM 院士 Bradley McCredie 表示：“NVLink 讓CPU與GPU之間能夠快速交換數(shù)據(jù)，從而提升了整個(gè)計(jì)算系統(tǒng)的數(shù)據(jù)吞吐量，克服了當(dāng)今加速計(jì)算的一大瓶頸。NVLink 讓開發(fā)者能夠更輕松地修改高性能與數(shù)據(jù)分析應(yīng)用，以便充分利用加速的 CPU-GPU 系統(tǒng)。 我們認(rèn)為，該技術(shù)標(biāo)志著我們對(duì) OpenPOWER 生態(tài)系統(tǒng)又做出了一大貢獻(xiàn)。”
由于NVLink 技術(shù)能夠?qū)?IBM POWER CPU 與 NVIDIA Tesla GPU 緊密結(jié)合，POWER 數(shù)據(jù)中心生態(tài)系統(tǒng)將能夠在各種各樣的應(yīng)用程序上充分利用GPU加速，例如高性能計(jì)算、數(shù)據(jù)分析以及機(jī)器學(xué)習(xí)等應(yīng)用。
與 PCI Express 3.0 相比之下的優(yōu)勢(shì)
當(dāng)今的GPU 通過 PCI Express (PCIe) 接口連接至 x86 CPU。PCIe 限制了 GPU 存取 CPU 系統(tǒng)內(nèi)存的能力，比一般的 CPU 內(nèi)存系統(tǒng)慢 4-5 倍。IBM POWER CPU的帶寬高于x86 CPU，因此在 GPU 與 IBM POWER CPU 之間，PCIe 成為了更加顯著的瓶頸。由于 NVLink 接口可與一般 CPU 內(nèi)存系統(tǒng)的帶寬相匹配，因而讓 GPU 能夠以全帶寬的速度存取 CPU 內(nèi)存。
這一高帶寬互聯(lián)技術(shù)將大幅提高加速軟件應(yīng)用的性能。GPU 的顯存速度快但容量小，CPU 內(nèi)存速度慢但容量大。因?yàn)閮?nèi)存系統(tǒng)的差異，加速的計(jì)算應(yīng)用一般先把數(shù)據(jù)從網(wǎng)絡(luò)或磁盤移至 CPU 內(nèi)存，然后再把數(shù)據(jù)復(fù)制到 GPU 顯存，數(shù)據(jù)才可以被 GPU 處理。 憑借 NVLink，數(shù)據(jù)在 CPU 內(nèi)存與 GPU 顯存之間的移動(dòng)速度得到了大幅提升，從而讓 GPU 加速的應(yīng)用能夠大幅提升運(yùn)行速度。
統(tǒng)一內(nèi)存特性
更快的數(shù)據(jù)移動(dòng)加上名為統(tǒng)一內(nèi)存的另一大特性，將簡(jiǎn)化GPU加速器的編程。 統(tǒng)一內(nèi)存讓程序員能夠?qū)PU內(nèi)存和 GPU 顯存視為一個(gè)內(nèi)存塊。 程序員可以操作數(shù)據(jù)，無需擔(dān)心數(shù)據(jù)存在于 CPU 內(nèi)存還是 GPU 顯存當(dāng)中。
雖然將來的 NVIDIA GPU 會(huì)繼續(xù)支持 PCIe，但是 NVLink 技術(shù)將被用于連接GPU與支持 NVLink 技術(shù)的CPU，另外還將用于在多顆 GPU 之間直接提供高帶寬連接。 此外，盡管擁有極高的帶寬，NVLink 卻在每比特?cái)?shù)據(jù)的傳輸上比 PCIe 節(jié)能得多。
NVIDIA 現(xiàn)已設(shè)計(jì)了一個(gè)模塊來容納 Pascal 架構(gòu)的GPU與NVLink。這一全新的GPU模塊僅為當(dāng)今標(biāo)準(zhǔn) PCIe 顯卡尺寸的三分之一。Pascal 模塊底部的接口使其能夠插入到主板當(dāng)中，從而改善了系統(tǒng)設(shè)計(jì)、提升了信號(hào)完整性。
NVLink 高速互連技術(shù)將成就緊密結(jié)合的系統(tǒng)，這類系統(tǒng)為人們呈現(xiàn)了一條通往超節(jié)能可擴(kuò)展百億億次級(jí)超級(jí)計(jì)算機(jī)的道路。百億億次級(jí)超級(jí)計(jì)算機(jī)的運(yùn)行速度為 1,000 Petaflops (每秒 1 x 1018 次浮點(diǎn)運(yùn)算)，比當(dāng)今最快的系統(tǒng)還要快50 - 100倍。
NVIDIA將把NVLink技術(shù)添加到其Pascal GPU架構(gòu)當(dāng)中，該架構(gòu)將承接今年全新的NVIDIA Maxwell計(jì)算架構(gòu)，預(yù)計(jì)將于2016 年推出。這一全新的互聯(lián)技術(shù)是與IBM合作開發(fā)的，IBM 正在將該技術(shù)融入到其未來版本的 POWER CPU 當(dāng)中。
IBM 副總裁兼 IBM 院士 Bradley McCredie 表示：“NVLink 讓CPU與GPU之間能夠快速交換數(shù)據(jù)，從而提升了整個(gè)計(jì)算系統(tǒng)的數(shù)據(jù)吞吐量，克服了當(dāng)今加速計(jì)算的一大瓶頸。NVLink 讓開發(fā)者能夠更輕松地修改高性能與數(shù)據(jù)分析應(yīng)用，以便充分利用加速的 CPU-GPU 系統(tǒng)。 我們認(rèn)為，該技術(shù)標(biāo)志著我們對(duì) OpenPOWER 生態(tài)系統(tǒng)又做出了一大貢獻(xiàn)。”
由于NVLink 技術(shù)能夠?qū)?IBM POWER CPU 與 NVIDIA Tesla GPU 緊密結(jié)合，POWER 數(shù)據(jù)中心生態(tài)系統(tǒng)將能夠在各種各樣的應(yīng)用程序上充分利用GPU加速，例如高性能計(jì)算、數(shù)據(jù)分析以及機(jī)器學(xué)習(xí)等應(yīng)用。
與 PCI Express 3.0 相比之下的優(yōu)勢(shì)
當(dāng)今的GPU 通過 PCI Express (PCIe) 接口連接至 x86 CPU。PCIe 限制了 GPU 存取 CPU 系統(tǒng)內(nèi)存的能力，比一般的 CPU 內(nèi)存系統(tǒng)慢 4-5 倍。IBM POWER CPU的帶寬高于x86 CPU，因此在 GPU 與 IBM POWER CPU 之間，PCIe 成為了更加顯著的瓶頸。由于 NVLink 接口可與一般 CPU 內(nèi)存系統(tǒng)的帶寬相匹配，因而讓 GPU 能夠以全帶寬的速度存取 CPU 內(nèi)存。
這一高帶寬互聯(lián)技術(shù)將大幅提高加速軟件應(yīng)用的性能。GPU 的顯存速度快但容量小，CPU 內(nèi)存速度慢但容量大。因?yàn)閮?nèi)存系統(tǒng)的差異，加速的計(jì)算應(yīng)用一般先把數(shù)據(jù)從網(wǎng)絡(luò)或磁盤移至 CPU 內(nèi)存，然后再把數(shù)據(jù)復(fù)制到 GPU 顯存，數(shù)據(jù)才可以被 GPU 處理。 憑借 NVLink，數(shù)據(jù)在 CPU 內(nèi)存與 GPU 顯存之間的移動(dòng)速度得到了大幅提升，從而讓 GPU 加速的應(yīng)用能夠大幅提升運(yùn)行速度。
統(tǒng)一內(nèi)存特性
更快的數(shù)據(jù)移動(dòng)加上名為統(tǒng)一內(nèi)存的另一大特性，將簡(jiǎn)化GPU加速器的編程。 統(tǒng)一內(nèi)存讓程序員能夠?qū)PU內(nèi)存和 GPU 顯存視為一個(gè)內(nèi)存塊。 程序員可以操作數(shù)據(jù)，無需擔(dān)心數(shù)據(jù)存在于 CPU 內(nèi)存還是 GPU 顯存當(dāng)中。
雖然將來的 NVIDIA GPU 會(huì)繼續(xù)支持 PCIe，但是 NVLink 技術(shù)將被用于連接GPU與支持 NVLink 技術(shù)的CPU，另外還將用于在多顆 GPU 之間直接提供高帶寬連接。 此外，盡管擁有極高的帶寬，NVLink 卻在每比特?cái)?shù)據(jù)的傳輸上比 PCIe 節(jié)能得多。
NVIDIA 現(xiàn)已設(shè)計(jì)了一個(gè)模塊來容納 Pascal 架構(gòu)的GPU與NVLink。這一全新的GPU模塊僅為當(dāng)今標(biāo)準(zhǔn) PCIe 顯卡尺寸的三分之一。Pascal 模塊底部的接口使其能夠插入到主板當(dāng)中，從而改善了系統(tǒng)設(shè)計(jì)、提升了信號(hào)完整性。
NVLink 高速互連技術(shù)將成就緊密結(jié)合的系統(tǒng)，這類系統(tǒng)為人們呈現(xiàn)了一條通往超節(jié)能可擴(kuò)展百億億次級(jí)超級(jí)計(jì)算機(jī)的道路。百億億次級(jí)超級(jí)計(jì)算機(jī)的運(yùn)行速度為 1,000 Petaflops (每秒 1 x 1018 次浮點(diǎn)運(yùn)算)，比當(dāng)今最快的系統(tǒng)還要快50 - 100倍。
下載文檔
