IBM展示一種8位模擬人工智能芯片

隨著在舊金山舉行的國際電子設(shè)備會(huì)議(IEDM)和在蒙特利爾舉行的神經(jīng)信息處理系統(tǒng)會(huì)議(NeurlPS)的開門紅，對(duì)于任何希望跟上人工智能研發(fā)發(fā)展步伐的人來說，本周都顯得十分重要。

正如IBM的研究人員正在詳細(xì)介紹用于數(shù)字和模擬人工智能芯片的新人工智能方法。IBM自豪地宣稱，其數(shù)字AI芯片“首次成功地使用8位浮點(diǎn)數(shù)訓(xùn)練了深度神經(jīng)網(wǎng)絡(luò)(DNNs)，同時(shí)在深度學(xué)習(xí)模型和數(shù)據(jù)集的頻譜上完全保持了準(zhǔn)確性?！?/p>

另外，IBM的研究人員正在IEDM上展示一種模擬人工智能芯片，它使用8位精度的內(nèi)存與投影相變內(nèi)存相乘。

“我們確實(shí)認(rèn)為所有這些工作我們正在做,比如試圖獲得精度下降,性能可以和權(quán)力可以繼續(xù)推進(jìn)AI——是非常重要的,”杰弗里?六須鲇IBM research - almaden的副總裁兼實(shí)驗(yàn)室主任這樣說道。

Linley Group總裁兼首席分析師Linley Gwennap稱：“機(jī)器學(xué)習(xí)繼續(xù)快速發(fā)展?，F(xiàn)有的硬件無法有效處理研究人員建立的最大的神經(jīng)網(wǎng)絡(luò)，所以他們正在尋找各種新的方法來提高性能和效率。這些新進(jìn)展都將給硬件廠商帶來巨大壓力，芯片公司都"必須靈活且迅速地在這個(gè)混亂的市場中生存"。

AI的GPU時(shí)代結(jié)束了

IBM大膽預(yù)測，GPU在人工智能領(lǐng)域的主導(dǎo)地位將終結(jié)。GPU能夠?yàn)閳D形處理做很多并行矩陣乘法。這樣的矩陣乘法恰好是你需要用神經(jīng)網(wǎng)絡(luò)做的事情。在Welser看來，“這是一種巧合，但它非常重要?！币?yàn)槿绻麤]有它(gpu)，我們永遠(yuǎn)也達(dá)不到我們今天在AI表現(xiàn)中已經(jīng)看到的水平。Welser還補(bǔ)充說，“隨著我們對(duì)人工智能的了解越來越多，我們正在尋找方法來設(shè)計(jì)一種更高效的硬件?！?/p>

移動(dòng)到較低的精度

提高效率的一個(gè)途徑是降低人工智能處理所需的精度。

六須鲇解釋說,“我們所有的大方向在幾年前開始意識(shí)到,雖然我們習(xí)慣于非常精確的計(jì)算- 32位浮點(diǎn)計(jì)算非常標(biāo)準(zhǔn),甚至64位,雙精度對(duì)于真正準(zhǔn)確的計(jì)算——這是不一定總是重要的(AI)?！?/p>

在人工智能中，他強(qiáng)調(diào)，“你所關(guān)心的神經(jīng)網(wǎng)絡(luò)是當(dāng)你展示一幅圖像或一個(gè)詞，如果它得到了正確的答案。”當(dāng)我們問它是貓還是狗時(shí)，它說它是貓。如果這是正確的答案，你就不必關(guān)心中間的所有計(jì)算。

理想情況下，人工智能應(yīng)該模仿人眼。威爾斯說:“透過霧蒙蒙的窗戶，你會(huì)看到一個(gè)人在街上走。這是一種低姿態(tài)的形象，但通常能說“哦，那是我媽媽來了”就足夠了?！八裕灰愕玫搅苏_的答案，這對(duì)視力是否合適并不重要。”

他解釋說，這解釋了人工智能處理中精度下降的趨勢。

“對(duì)于32位計(jì)算，我必須在32位上進(jìn)行計(jì)算。如果我們能在16位上完成，那基本上是計(jì)算能力的一半，或者可能是芯片面積的一半，甚至更少?！叭绻隳芙档?位或4位，那就更好了?！彼f，“所以，這給了我一個(gè)巨大的勝利，在面積、動(dòng)力、性能和吞吐量方面——我們能多快完成所有這些?！?/p>

然而，Welser承認(rèn)，“很長一段時(shí)間以來，我們都認(rèn)為人工智能訓(xùn)練必須堅(jiān)持32位精度。沒有別的辦法了。

2015年，IBM Research發(fā)布了AI模型訓(xùn)練推理的降精度方法，論文描述了一種針對(duì)傳統(tǒng)CMOS技術(shù)的新型數(shù)據(jù)流方法。IBM展示了經(jīng)過16位精度訓(xùn)練的模型，與經(jīng)過32位精度訓(xùn)練的模型相比，精度沒有損失。

從那時(shí)起，IBM注意到“降低精度的方法很快被采納為行業(yè)標(biāo)準(zhǔn)，16位培訓(xùn)和8位推斷現(xiàn)在已經(jīng)很普遍，并刺激了創(chuàng)業(yè)公司和風(fēng)險(xiǎn)投資的爆炸式增長，用于降低基于精度的AI芯片?！北M管出現(xiàn)了這種新趨勢，但由于需要保持模型的高精度，用數(shù)字表示小于16位的“訓(xùn)練”幾乎是不可能的。