解讀：天河2號(hào)超級(jí)計(jì)算機(jī) 直指超算TOP1【組圖】

時(shí)間：2013-06-08 00:34:34

關(guān)鍵字：超級(jí)計(jì)算機(jī) TOP BSP 節(jié)點(diǎn)

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]1、天河2概要21ic電子網(wǎng)，在五月底在長(zhǎng)沙舉辦的國(guó)際HPC大會(huì)上，國(guó)防科技大組員透露了天河2的詳細(xì)信息。天河2將會(huì)被安置在廣州的國(guó)家超算中心，為華南的教育和研究機(jī)構(gòu)提供高性能計(jì)算服務(wù)。天河2將會(huì)由16000個(gè)浪潮的節(jié)

1、天河2概要

21ic電子網(wǎng)，在五月底在長(zhǎng)沙舉辦的國(guó)際HPC大會(huì)上，國(guó)防科技大組員透露了天河2的詳細(xì)信息。天河2將會(huì)被安置在廣州的國(guó)家超算中心，為華南的教育和研究機(jī)構(gòu)提供高性能計(jì)算服務(wù)。

天河2將會(huì)由16000個(gè)浪潮的節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)有2顆基于IveBridge-EXeonE52692處理器和3個(gè)XeonPhi，累計(jì)共有32000顆IveBridge處理器和48000個(gè)XeonPhi，總計(jì)有312萬(wàn)個(gè)計(jì)算核心。

1 2 3 4

2、天河2的節(jié)點(diǎn)

每個(gè)XeonPhi使用其中的57個(gè)核心，而不是使用全部的61個(gè)，因?yàn)槭褂?1個(gè)在運(yùn)算周期協(xié)調(diào)方面會(huì)有問(wèn)題，而使用57個(gè)核心能夠加速4個(gè)執(zhí)行線程，并且在每個(gè)線程單周期可以達(dá)成4flops的運(yùn)算量，運(yùn)行在1.1GHz的XeonPhi可以生產(chǎn)1003Tflops的雙精度運(yùn)算能力。如果考慮CPU，2IvyBridge*0.2112Tflop/s+3XeonPhi*1.003Tflop/s=3.431Tflops，2個(gè)IveBridge+3個(gè)XeonPhi單個(gè)節(jié)點(diǎn)可以有3.431Tflops運(yùn)算能力，16000個(gè)節(jié)點(diǎn)總計(jì)可達(dá)54.9PFlops性能。每個(gè)運(yùn)算節(jié)點(diǎn)有64GB主存、而每個(gè)XeonPhi板載8GB內(nèi)存，因此每個(gè)節(jié)點(diǎn)共有88GB內(nèi)存，總計(jì)16000個(gè)節(jié)點(diǎn)一共有1.404PB內(nèi)存，而外部存儲(chǔ)器容量方面更是高達(dá)12.4PB。

在每個(gè)主板上有2個(gè)計(jì)算節(jié)點(diǎn)，而每個(gè)框架則有16個(gè)主板，4個(gè)框架組成一個(gè)機(jī)柜，整個(gè)系統(tǒng)由125個(gè)機(jī)柜組成。

每個(gè)計(jì)算節(jié)點(diǎn)主板分為兩塊，一塊CPM一塊APU，CPM上有4核IveBridge、內(nèi)存和一個(gè)XeonPhi,而APU基板上則承載著5個(gè)XeonPhi。

CPM和APU之間有5個(gè)水平插入的鏈接口，由IveBridge內(nèi)置的PCI-E2.0進(jìn)行連接，雖然IveBridge內(nèi)置為PCIExpress3.0接口，但XeonPhi僅支持2.0，單個(gè)通路為10Gbps帶寬。

1 2 3 4

　　3、天河2內(nèi)部互連

計(jì)算節(jié)點(diǎn)的前端處理器為4096個(gè)FT-1500處理器,FT-1500處理器是由國(guó)防科技大學(xué)為天河1研發(fā)，其可以說(shuō)是天河1項(xiàng)目的最大收獲，其為16核心的SparcV9架構(gòu)處理器，在40nm工藝情況下運(yùn)行頻率為1.8Ghz,峰值性能為144Fflops/s,功耗為65W，但相比英特爾22nm12核2.2GHz211Gflops/s性能的IveBridge還是有明顯差距。

天河2互聯(lián)方面采用自主研發(fā)的Express-2內(nèi)部互聯(lián)網(wǎng)絡(luò)，其為有13個(gè)交換機(jī)，而每個(gè)交換機(jī)有576個(gè)端口。連接介質(zhì)為光電混合。具體控制器是名為NRC的ASIC專用目的集成電路，其采用90nm工藝，核心尺寸為17.16x17.16mm，共有2577引腳。單個(gè)NRC的吞吐能力為2.56Tbps。而在終端方面網(wǎng)絡(luò)接口也采用類似結(jié)構(gòu)的NIC，但規(guī)模稍小，為10.76x10.76mm,675pin，其采用PCIE2.0方式連接，傳輸速率為6.36GB/s。并且在在12000節(jié)點(diǎn)的情況下延遲也很低，僅為85us。

1 2 3 4

4、天河2的性能

而在計(jì)算能力方面，使用14336個(gè)節(jié)點(diǎn)總計(jì)50GB內(nèi)存進(jìn)行LINPACK測(cè)試，理論性能為49.19Pflops，而實(shí)際測(cè)試性能為30.65Pflops,效率為62.3%。這個(gè)效率并不算高，還有很大優(yōu)化提升潛力。當(dāng)然也可能是被Xeonphi僅支持PCIExpress2.0帶寬不足限制。

上面測(cè)試使用了16000個(gè)節(jié)點(diǎn)中的14336個(gè)，運(yùn)用了90%的規(guī)模，基本可以代表天河2的整體性能表現(xiàn)。天河2的性能部件(處理器、內(nèi)存、互聯(lián))整體功耗為17.6MW，而整體的運(yùn)算能力為30.65PFlops，這樣計(jì)算每瓦的性能為1.935Gflops，這個(gè)性能/功耗比可以拍在超算TOP500的前五，其整體性能/功耗比十分出色。

系統(tǒng)的整體功耗為17.6MW，并且這個(gè)功耗還不包括水冷這樣的散熱系統(tǒng)，如果考慮上整體功耗將高達(dá)24MW，廣州國(guó)家超算中心將采用城市供水系統(tǒng)構(gòu)建高散熱效能的冷卻系統(tǒng)，有能力可以提供80KW系統(tǒng)的散熱能力。

天河2燈光效果

天河2雖然并不是最早采用英特爾XeonPhi的超級(jí)計(jì)算機(jī)，但其卻對(duì)XeonPhi卻有至關(guān)重要的意義，天河2號(hào)對(duì)于Xeonphi的采用使得其在與Tesla的競(jìng)爭(zhēng)中穩(wěn)穩(wěn)占到上風(fēng)，并給予TeslaKO般的致命一擊。天河2號(hào)的意義不僅在于登頂超算排行TOP1，相比天河1和其他基于GPU的異構(gòu)超級(jí)計(jì)算機(jī)，其在應(yīng)用范圍上更廣、整體效率更高，相比在浮點(diǎn)計(jì)算精度、分支預(yù)測(cè)存在天生缺陷的GPU異構(gòu)計(jì)算有更大的實(shí)用價(jià)值。天河2采用XeonPhi,可以說(shuō)代表HPC并行計(jì)算到達(dá)新的層次，迎來(lái)XeonPhi并行計(jì)算的新時(shí)代，同時(shí)也預(yù)示著以NVIDIATesla為代表的GPU異構(gòu)超算逐漸走向死路末途。

1 2 3 4