1965年，英特爾創(chuàng)始人Gordon Moore首次提出摩爾定律，并于1975年進行修正。根據(jù)摩爾定律，技術(shù)進步將使集成電路(微芯片)的集成度大約每18-24個月翻一番。摩爾定律問世時，集成電路問世才6年，Moore實驗室在一個芯片上還只能集成50個晶體管。50年后，最先進的芯片可以集成10幾億個晶體管。但是，我們現(xiàn)在面臨一個問題：摩爾定律，還能延續(xù)多少年?
是的，在過去50年，傳統(tǒng)數(shù)字計算機的性能在不斷提高。集成電路的技術(shù)進步一方面使得硬件變得越來越強大，另一方面也給尋求優(yōu)化算法性能的系統(tǒng)架構(gòu)師帶來了挑戰(zhàn)。
類腦計算
下一代高性能、低功耗的計算機系統(tǒng)需要像大腦學(xué)習(xí)。
隨著設(shè)計者從通用的計算機技術(shù)轉(zhuǎn)向大腦啟發(fā)(神經(jīng)形態(tài))系統(tǒng)，他們也必須從支撐通用機器的既定形式層次結(jié)構(gòu)中走出來。也就是說，抽象框架廣泛地定義了軟件是如何被數(shù)字計算機處理，并轉(zhuǎn)換成在機器硬件上運行的操作的，這種層次結(jié)構(gòu)有助于實現(xiàn)計算機性能的快速增長。
通用計算機設(shè)計的一個重要特點是軟硬件去耦合，而這一特點使得新設(shè)備(芯片、內(nèi)存等)能夠獲得最佳性能。通過設(shè)置對硬件的最低要求，將用高級語言編寫的軟件程序，轉(zhuǎn)換成任何機器所需的精確等效的指令序列變得可行，這一過程稱為編譯。在這個編譯過程中，支持使用代表基本計算操作的指令的計算機被稱為圖靈完備。因此，軟件代碼通常只寫一次，然后可以在多個圖靈完備的處理器架構(gòu)上編譯和執(zhí)行，以產(chǎn)生等效的結(jié)果。
圖1 在計算機硬件上，基于層次結(jié)構(gòu)實現(xiàn)算法
然而，人們普遍認(rèn)為，摩爾定律時代即將結(jié)束：數(shù)字計算機能力的進步速度似乎正在放緩。此外，數(shù)字計算非常耗能，促使人們尋找替代方案。
傳統(tǒng)計算機依循馮·諾依曼架構(gòu)設(shè)計，存儲與計算功能分離。每進行一次運算，計算機都要在內(nèi)存和CPU兩個區(qū)域之間來回調(diào)用，大數(shù)據(jù)處理效率有待提高。除此之外，因為在存儲與計算空間之間來回調(diào)用，芯片的能耗大部分轉(zhuǎn)化為熱量，既不利于設(shè)備的性能穩(wěn)定，又不環(huán)保。
類腦芯片就不一樣了，人腦中存儲與計算功能是合二為一的?？茖W(xué)家們長期以來一直對大腦的計算能力著迷，大腦不僅具有難以置信的能效，而且由于其神經(jīng)元和突觸的架構(gòu)，還擁有獨特的信息處理性能。類腦芯片可以模擬人腦的復(fù)雜處理能力，啟發(fā)了神經(jīng)形態(tài)計算領(lǐng)域，一個使用大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)作為下一代計算機基礎(chǔ)的研究領(lǐng)域。
神經(jīng)形態(tài)計算的重點通常是脈沖神經(jīng)網(wǎng)絡(luò)——由相互連接的人工神經(jīng)元組成的系統(tǒng)，其中每個神經(jīng)元在激活水平達到閾值時都會表現(xiàn)出短暫的“脈沖”。與現(xiàn)代深度學(xué)習(xí)應(yīng)用中常用的人工神經(jīng)網(wǎng)絡(luò)相比，這種系統(tǒng)更類似于生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)形態(tài)硬件已經(jīng)產(chǎn)生了一系列的格式，包括數(shù)字和模擬。然而，大多數(shù)系統(tǒng)都有共同的設(shè)計原則，例如內(nèi)存和處理器的協(xié)同定位。
開發(fā)神經(jīng)形態(tài)硬件應(yīng)用一個挑戰(zhàn)是，目前不存在圖靈完備性等形式層次。相反，每個新的芯片架構(gòu)都需要一個定制的軟件工具鏈，即一組編程工具來定義算法，并通過將它們映射到獨特的硬件上來執(zhí)行它們，這使得很難比較執(zhí)行相同算法的不同神經(jīng)形態(tài)系統(tǒng)的性能，并且需要研究人員理解算法和硬件的所有方面，以獲得潛在的類似大腦的性能。
厚積薄發(fā)
清華大學(xué)施路平團隊長期致力于類腦計算領(lǐng)域的研究。2015年，第一代“天機芯”DEMO問世，制程約為110納米。2017年，第二代“天機芯”芯片制程為28 nm。
2019年7月31日，施路平團隊以Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture為題，在Nature封面論文報道了第三代天機芯片，通過無人駕駛自行車上的實驗演示，實現(xiàn)了機器學(xué)習(xí)和類腦算法的完美結(jié)合，標(biāo)志著中國在人工智能領(lǐng)域進入了關(guān)鍵時刻。
時隔一年之后，2020年10月15日，清華大學(xué)施路平、張悠慧等人又一次在Nature發(fā)表類腦計算的最新研究成果。他們定義了一個新的層次結(jié)構(gòu)，將算法的要求及其在一系列神經(jīng)形態(tài)系統(tǒng)上的實現(xiàn)形式化，從而為結(jié)構(gòu)化的研究方法奠定基礎(chǔ)。在該方法中，受大腦啟發(fā)的計算機的算法和硬件可以分別設(shè)計。值得一提的是，在這兩個重大研究成果中，施路平教授都是通訊作者，而張悠慧教授都是第一作者之一，并在最新的Nature論文中擔(dān)任通訊作者之一。
這一次，清華大學(xué)施路平、張悠慧研究團隊提出了一個突破性解決方案，他們稱之為神經(jīng)形態(tài)完備性。這是對圖靈完備性的認(rèn)可，旨在將算法和硬件開發(fā)分離開來。
作者提出，如果一個類大腦系統(tǒng)能夠以規(guī)定的精確度執(zhí)行一組給定的基本操作，它就是神經(jīng)形態(tài)完備的，這是對圖靈完備性的一種偏離。在圖靈完備性中，一個系統(tǒng)只有在為給定的一組基本運算提供了精確且同等的結(jié)果時，才能被定義為完備的。
神經(jīng)形態(tài)完備框架
在提出的神經(jīng)形態(tài)完備框架中，基本操作包括兩種，稱為加權(quán)和操作和元素校正線性操作，這使得硬件系統(tǒng)能夠支持脈沖和非脈沖人工神經(jīng)網(wǎng)絡(luò)。作者展示了他們的大腦啟發(fā)計算的層次結(jié)構(gòu)如何提供一種機制，將給定的算法轉(zhuǎn)換成適合一系列神經(jīng)形態(tài)完整設(shè)備的形式。
新層次結(jié)構(gòu)的一個關(guān)鍵亮點在于，提出了一個連續(xù)完備性——可以接受不同級別的算法性能，這取決于神經(jīng)形態(tài)系統(tǒng)執(zhí)行基本操作的準(zhǔn)確性。這種完備性的連續(xù)性意味著，新的層次結(jié)構(gòu)可以使用所有可用的模擬和數(shù)字神經(jīng)形態(tài)系統(tǒng)來實現(xiàn)，包括那些為了執(zhí)行速度或能量效率而犧牲準(zhǔn)確性的系統(tǒng)。
圖2 類腦計算機層次結(jié)構(gòu)(左)與現(xiàn)有通用計算機(右)的對比
完備性的連續(xù)還允許算法的在同一硬件上的不同運行。例如，探索如何根據(jù)芯片大小來權(quán)衡算法精度，以降低功耗。研究人員在三個任務(wù)的算法執(zhí)行中展示了這一方面(“駕駛”無人駕駛自行車、模擬鳥群的運動以及執(zhí)行稱為QR分解的線性代數(shù)分析)。每個任務(wù)使用三個典型的神經(jīng)形態(tài)完備硬件平臺來執(zhí)行：作者自己的神經(jīng)形態(tài)芯片，通用計算機中使用的圖形處理單元，一個基于憶阻器設(shè)備的平臺，可以加速神經(jīng)網(wǎng)絡(luò)的運行。
這種層次結(jié)構(gòu)具有極大的創(chuàng)新性，主要表現(xiàn)為兩點：
1)能夠比較實現(xiàn)相同算法的等效版本的不同硬件平臺，以及在相同硬件上實現(xiàn)的不同算法。這兩個都是對神經(jīng)形態(tài)架構(gòu)進行有效基準(zhǔn)測試的關(guān)鍵任務(wù)。將通用的圖靈完備硬件(GPU)包含在他們的驗證實驗中也是非常有價值的，因為這表明在某些應(yīng)用中，層次結(jié)構(gòu)可以潛在地用于證明神經(jīng)形態(tài)設(shè)備優(yōu)于主流系統(tǒng)。
2)有可能將算法和硬件開發(fā)分開。如果要獲得底層神經(jīng)形態(tài)架構(gòu)的益處，算法規(guī)模和復(fù)雜性將需要隨著時間的推移而增加。因此，這種分離將有助于研究人員專注于研究問題的特定方面，而不是試圖找到完整的端到端解決方案。這可能會導(dǎo)致對問題的更好理解，并為未來更高性能的神經(jīng)形態(tài)系統(tǒng)的設(shè)計提供信息。
結(jié)語
面對即將到來的計算機架構(gòu)發(fā)展黃金十年，類腦計算被認(rèn)為是最有希望的方案之一。
清華大學(xué)團隊所提出的類腦計算系統(tǒng)設(shè)計思路，是在現(xiàn)有計算機架構(gòu)基礎(chǔ)上，加入類腦計算芯片、從而引入空間復(fù)雜性和時空復(fù)雜性。這樣既可以保持原有計算機處理結(jié)構(gòu)化信息的的優(yōu)勢，又可以利用類腦計算芯片提升處理非結(jié)構(gòu)化信息的能力。
團隊將堅持計算機科學(xué)和神經(jīng)科學(xué)融合的技術(shù)路線，并充分利用新型非易失性存儲器件(包括憶阻器)的特殊性質(zhì)，發(fā)展適合這些器件的新的計算模型和算法，構(gòu)建完全新型的智能計算體系。
下載文檔
