FPGA開(kāi)發(fā)難？Xilinx這款軟件平臺(tái)解鎖全員創(chuàng)新

提及FPGA，許多人的第一印象就是“難，難于上青天”，一方面Verilog/VHDL與C語(yǔ)言大庭相徑，需要徹底理解FPGA內(nèi)部的邏輯結(jié)構(gòu)的知識(shí)，另一方面，F(xiàn)PGA不僅邏輯思維很重要，在數(shù)學(xué)思維上的化繁為簡(jiǎn)在優(yōu)化過(guò)程中也讓人頭疼。對(duì)于掌握知識(shí)不同的軟件工程師或硬件工程師，都駐足在了上手難度的門外，尤其是想要開(kāi)發(fā)一些具有AI的復(fù)雜算法場(chǎng)景就更加雪上加霜了……

就在2019年10月9日，賽靈思公司（Xilinx）發(fā)布了里程碑式的 Vitis™ 統(tǒng)一軟件平臺(tái)，以“突破軟硬壁壘，解鎖全員創(chuàng)新” 為主題，解鎖軟件開(kāi)發(fā)者的硬件加速壁壘，將賽靈思獨(dú)特的自適應(yīng)計(jì)算能力帶給全員開(kāi)發(fā)者的新篇章。

對(duì)Xilinx比較熟悉的開(kāi)發(fā)人員，可能在認(rèn)知中Xilinx是一家偏向硬件的企業(yè)，此次發(fā)布的軟件軟件平臺(tái)正是為適應(yīng)現(xiàn)如今行業(yè)發(fā)展、為不同層次開(kāi)發(fā)者提供便捷開(kāi)發(fā)能力、為行業(yè)創(chuàng)造更大價(jià)值而發(fā)布的。

21ic中國(guó)電子網(wǎng)記者受邀參加此次發(fā)布會(huì)，賽靈思大中華區(qū)銷售副總裁唐曉蕾（Maria） 及賽靈思軟件和人工智能高級(jí)經(jīng)理羅霖（Andy）現(xiàn)場(chǎng)為記者解答相關(guān)問(wèn)題。

既可編程又自適應(yīng)的Vitis：行業(yè)三大趨勢(shì)中應(yīng)運(yùn)而生

在開(kāi)始介紹這款軟件平臺(tái)前，首先強(qiáng)調(diào)的便是，這款工具不同以往，是“開(kāi)放，標(biāo)準(zhǔn)，免費(fèi)”的。對(duì)于FPGA熟悉的人，一定對(duì)Xilinx也并不陌生，這也許是Xilinx歷史上第一次將軟件開(kāi)發(fā)平臺(tái)免費(fèi)。

現(xiàn)場(chǎng)，據(jù)唐曉蕾介紹，如今，行業(yè)正邁向三個(gè)趨勢(shì)——AI激增、異構(gòu)計(jì)算、從云端到邊緣。

第一，AI激增：AI也是近幾年最火熱的詞，從數(shù)據(jù)中心、5G、自動(dòng)駕駛、基因組學(xué)、醫(yī)療、金融等各種應(yīng)用的大規(guī)模應(yīng)用，導(dǎo)致數(shù)據(jù)量的激增，這種情況下就需要一個(gè)非常統(tǒng)一的平臺(tái)。

第二，從云端到邊緣：數(shù)據(jù)量的激增導(dǎo)致大量的計(jì)算需要放在云端。假若都在云端計(jì)算對(duì)整個(gè)帶寬的要求是不是一樣的，所以產(chǎn)生了邊緣計(jì)算；但都在端計(jì)算，功耗、計(jì)算能力都是問(wèn)題。所以這種情況，云端與邊緣的統(tǒng)一化逐漸成為現(xiàn)今的最佳解決方案。

第三，異構(gòu)計(jì)算：在計(jì)算能力不足以完成當(dāng)前任務(wù)量之時(shí)，行業(yè)引入了CPU+ASIC、CPU+GPU、CPU+FPGA的概念，這也便是異構(gòu)計(jì)算的概念。而Xilinx所提出的異構(gòu)，與傳統(tǒng)異構(gòu)并不同，是自適應(yīng)的異構(gòu)，主要是軟件感知架構(gòu)，這種架構(gòu)將不再單純用硬件決定應(yīng)用場(chǎng)景。當(dāng)然Xilinx去年10月發(fā)布的ACAP也已提出軟件自適應(yīng)計(jì)算加速平臺(tái)，該平臺(tái)是為配合ACAP而生。

圖1：賽靈思大中華區(qū)銷售副總裁唐曉蕾（Maria）

在這種趨勢(shì)下，如何解決這種問(wèn)題？唐曉蕾表示，現(xiàn)今基本大多采用可編程或自適應(yīng)來(lái)解決，但大多數(shù)情況下，市面的CPU、GPU、ASSP在可編程和自適應(yīng)上市場(chǎng)還難以做到二者同時(shí)存在，Vitis正是這樣一款既可做到可編程，又可做到自適應(yīng)的軟件平臺(tái)。

正如上文所述，Vitis這款軟件平臺(tái)是免費(fèi)開(kāi)放的，是一款統(tǒng)一的軟件平臺(tái)，可實(shí)現(xiàn)在 Xilinx 異構(gòu)平臺(tái)（包括 FPGA、SoC 和 Versal ACAP）上開(kāi)發(fā)嵌入式軟件和加速應(yīng)用。它可為邊緣、云和混合計(jì)算應(yīng)用加速提供統(tǒng)一編程模型。可以讓包括軟件工程師和 AI 科學(xué)家在內(nèi)的廣大開(kāi)發(fā)者都能受益于硬件靈活應(yīng)變的優(yōu)勢(shì)。

Vitis統(tǒng)一軟件平臺(tái)：創(chuàng)造效率降低成本

據(jù)羅霖介紹，現(xiàn)如今，應(yīng)用場(chǎng)景是非常碎片化、多樣化、創(chuàng)新化的，舉個(gè)例子來(lái)說(shuō)，自動(dòng)駕駛的廠商軟件迭代周期非常短，模型近乎每周更新，這個(gè)前提下專門為某個(gè)應(yīng)用做一款芯片是不可能滿足客戶需求的，客戶需求的是擴(kuò)展靈活的平臺(tái)，可以根據(jù)應(yīng)用和工作負(fù)載自動(dòng)優(yōu)化系統(tǒng)，包括軟件和底層的硬件，這也是Vitis能為市場(chǎng)帶來(lái)價(jià)值的最大價(jià)值。

圖2：賽靈思軟件和人工智能高級(jí)經(jīng)理羅霖（Andy）

那么這款Vitis統(tǒng)一軟件平臺(tái)究竟有哪些功能？Vitis 統(tǒng)一軟件平臺(tái)是將Vitis目標(biāo)平臺(tái)、Vitis核心開(kāi)發(fā)套件、Vitis加速庫(kù)集合在一起的統(tǒng)一平臺(tái)，可完成從端到云不同形態(tài)的需求，具體功能包括：

圖3：Vitis統(tǒng)一軟件平臺(tái)所具有的的功能

Vitis目標(biāo)平臺(tái)：Vitis 目標(biāo)平臺(tái)為Xilinx平臺(tái)定義了基本軟硬件架構(gòu)及應(yīng)用環(huán)境，包括外部存儲(chǔ)接口、自定義輸入輸出接口和軟件運(yùn)行時(shí)。

Vitis核心開(kāi)發(fā)套件：包括編譯器、分析器、調(diào)試器、賽靈思運(yùn)行時(shí)庫(kù)（Xilinx RunTime庫(kù)，即XRT）。

Xilinx RunTime庫(kù)主要目的是為上層用將底層細(xì)節(jié)抽象，包括終端處理、生命周期管理、內(nèi)存數(shù)據(jù)搬運(yùn)，都是由該庫(kù)負(fù)責(zé)進(jìn)行。Xilinx RunTime庫(kù)可促進(jìn)應(yīng)用代碼（運(yùn)行在嵌入式 ARM 或 x86 主機(jī)上）與加速器（部署在基于 PCIe 的 Xilinx 加速卡、基于 MPSoC 的嵌入式平臺(tái)或 ACAP 的可重構(gòu)部分上）之間的通信。它包括用戶空間庫(kù)和 API、內(nèi)核驅(qū)動(dòng)、電路板實(shí)用程序和固件。

編譯器既包含C/C++/Python的編譯器，也包含賽靈思的V++編譯器，主要用來(lái)針對(duì)具體的應(yīng)用產(chǎn)生具體加速內(nèi)核；分析機(jī)能夠直觀了解底層到底層間究竟發(fā)生什么；調(diào)試器可以在遇到錯(cuò)誤或Bug時(shí)，幫助分析進(jìn)行調(diào)試。

在用戶體驗(yàn)方面，該套系統(tǒng)的用戶體驗(yàn)將會(huì)給工程師帶來(lái)非常熟悉的開(kāi)發(fā)環(huán)境，與此前所使用的的ARM、DSP開(kāi)發(fā)流程完全一致。

Vitis加速庫(kù)：包括OpenCV庫(kù)、BLAS庫(kù)、金融庫(kù)，另外還包括Xilinx專門針的解決方案Vitis AI和Vitis video，其中Vitis AI將在下文中介紹，Vitis video面世在即，這兩款解決方案也可幫助開(kāi)發(fā)特定環(huán)境方面的應(yīng)用。

通過(guò)上述的三重功能，對(duì)于開(kāi)發(fā)“苦手”的人可直接應(yīng)用相關(guān)庫(kù)進(jìn)行開(kāi)發(fā)，而專業(yè)人員也可以使用相關(guān)的套件和Xilinx提供的經(jīng)過(guò)優(yōu)化的庫(kù)進(jìn)行高效率開(kāi)發(fā)，減少開(kāi)發(fā)時(shí)間的同時(shí)還可節(jié)省成本。

值得一提的是，Xilinx自28nm開(kāi)始的器件均可使用該平臺(tái)，另外一般的FPGA都可支持，不過(guò)ACAP一定要使用Vitis進(jìn)行開(kāi)發(fā)。

Vitis AI：由傳統(tǒng)軟件轉(zhuǎn)向深度學(xué)習(xí)

在人工智能時(shí)代，市場(chǎng)已逐漸從傳統(tǒng)的軟件開(kāi)發(fā)方法轉(zhuǎn)向深度學(xué)習(xí)的算法。自1997年IBM深藍(lán)成為國(guó)際象棋的冠軍開(kāi)始，IBM Watson、AlphaGo等逐漸可實(shí)現(xiàn)性能超越人類的高精準(zhǔn)應(yīng)用，現(xiàn)在對(duì)于人工智能軟件的注重程度越來(lái)越高。諸如汽車駕駛員輔助系統(tǒng)（ADAS）、機(jī)器人出租車是現(xiàn)在正在發(fā)展的項(xiàng)目，而在2024年，汽車還將實(shí)現(xiàn)全自動(dòng)駕駛。在這樣的背景下，Vitis同樣也具有這樣的解決方案——Vitis AI。

圖4：傳統(tǒng)軟件已逐漸走向深度學(xué)習(xí)

據(jù)羅霖介紹，Vitis AI底層是業(yè)界主流的框架，包括TensorFlow、Caffe、PyTorch，另外，包括37個(gè)開(kāi)源的模型，這些模型是針對(duì)不同應(yīng)用，諸如智慧城市、智能駕駛、實(shí)施目標(biāo)分析跟蹤等，開(kāi)發(fā)者可以直接取用模型進(jìn)行開(kāi)發(fā)。

圖5：Vitis AI所具有的的功能

當(dāng)然Vitis AI中也擁有非常強(qiáng)大的開(kāi)發(fā)套件，包括AI優(yōu)化器（AI Optimizer）、AI量化器（AI Quantizer）、AI 編譯器（AI Compier）、AI 分析器（AI Profiler）。

據(jù)羅霖介紹，AI優(yōu)化器可以將計(jì)算量較大的原始模型優(yōu)化，從而提高模型在硬件上的運(yùn)行性能；AI量化器可將浮點(diǎn)模型編譯為8bit模型，高效部署在目標(biāo)平臺(tái)上；AI編譯器可將定點(diǎn)過(guò)的模型編譯成在平臺(tái)上的可運(yùn)行的機(jī)器代碼；AI分析器可在模型運(yùn)行時(shí)分析每層運(yùn)行的狀態(tài)、存儲(chǔ)的帶寬、計(jì)算量、運(yùn)行效率等。

上文也有提到自適應(yīng)運(yùn)算，而自適應(yīng)運(yùn)算下應(yīng)有自適應(yīng)硬件進(jìn)行支撐，就DPU上說(shuō)，使用者可能在CNN DPU、LSTM DPU、MLP DPU上均會(huì)有需求，Xilinx平臺(tái)在此方面的好處便是可根據(jù)用戶需求，通過(guò)工具生成高效率、定制化的硬件滿足業(yè)務(wù)需求，這也是Xilinx最大的優(yōu)勢(shì)。“在業(yè)界，Xilinx也是獨(dú)一無(wú)二能夠提供這種能力的半導(dǎo)體廠商”，羅霖如是說(shuō)。

Vitis AI的目的是讓客戶能夠高效開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)應(yīng)用，Xilinx在此方面針對(duì)具體的DPU有不同版本，包含高吞吐量、低延時(shí)、多通道等不同方案。值得一提的是，Vitis AI支持框架編譯，不需要代碼描述模型，從模型文件本身通過(guò)工具處理，即可生成在DPU上的機(jī)器代碼，所以編譯時(shí)間非常短。據(jù)悉，一個(gè)編譯的時(shí)間大約為1-2分鐘。

“一站式”解鎖全員創(chuàng)新

此前，Xilinx在硬件代碼編程中擁有Vivado™設(shè)計(jì)套件，而此次發(fā)布的Vitis 獨(dú)立于 Vivado™ 設(shè)計(jì)套件，后者仍然繼續(xù)為希望使用硬件代碼進(jìn)行編程的用戶提供支持。但是，Vitis 也能夠通過(guò)將硬件模塊封裝成軟件可調(diào)用的函數(shù)，從而提高硬件開(kāi)發(fā)者的工作效率。

通過(guò)此次發(fā)布的Vitis與Vitis AI，對(duì)于層次不同的開(kāi)發(fā)者擁有了自由的選擇。傳統(tǒng)的硬件工程師可以繼續(xù)使用Vivado開(kāi)發(fā)工具進(jìn)行開(kāi)發(fā)，也可利用Vitis調(diào)用庫(kù)提高硬件開(kāi)發(fā)效率；對(duì)于擅長(zhǎng)底層移植或底層驅(qū)動(dòng)的軟件工程師，可調(diào)用Vitis中預(yù)先定義好Shell、I/O和部分編程工程的硬件庫(kù)進(jìn)行開(kāi)發(fā)；對(duì)于應(yīng)用軟件開(kāi)發(fā)者可使用熟悉的語(yǔ)言，直接完成高級(jí)語(yǔ)言開(kāi)發(fā)；對(duì)于AI科學(xué)家也可以利用高層次框架訓(xùn)練自己的模型。

圖6：“一站式”解鎖全員創(chuàng)新

舉一個(gè)例子來(lái)說(shuō)，智慧城市中較為典型的應(yīng)用場(chǎng)景便是在道路或十字路口實(shí)時(shí)統(tǒng)計(jì)交通流量，因?yàn)樾枰蹲酱罅康钠嚭腿肆髁浚郧岸藨?yīng)用了大量的攝像頭，這些攝像頭會(huì)實(shí)時(shí)捕捉當(dāng)時(shí)的視頻，完成特征提取然后發(fā)送至服務(wù)器或云端。這種情況下，在硬件上開(kāi)發(fā)人員需要完成IP開(kāi)發(fā)，開(kāi)發(fā)完成后嵌入式人員開(kāi)發(fā)在Xilinx提供的基于Shell、RunTime的庫(kù)進(jìn)行一定程度修改，應(yīng)用開(kāi)發(fā)人員可使用Xilinx優(yōu)化好的CNN加速、數(shù)據(jù)分析和數(shù)據(jù)加速的庫(kù)完成應(yīng)用開(kāi)發(fā)，算法人員則可應(yīng)用非常熟悉的TensorFlow進(jìn)行訓(xùn)練模型。

應(yīng)用了一站式Vitis的開(kāi)發(fā)人員，既可以一站完成全部開(kāi)發(fā)工作，也可以協(xié)同工作，從而提高群體的開(kāi)發(fā)效率。

另外，Vitis還可以一步一步實(shí)現(xiàn)客戶所需要的性能。第一步，將整個(gè)算法和前后處理均放入CPU中完成，這部分不需要向底層硬件開(kāi)發(fā)人員求助，可達(dá)到6FPS的性能；第二步，將DPU放在殼中，通過(guò)算法的加速性能可提升至30FPS；第三步，通過(guò)Vitis庫(kù)中預(yù)處理的空間轉(zhuǎn)換或視頻縮放，提升端到端的性能，可提升至40FPS；第四步，通過(guò)Vitis數(shù)據(jù)流中一些技巧，可實(shí)現(xiàn)高性能的流水線，可從40FPS提升至80FPS。

圖7：面向智能城市應(yīng)用的自適應(yīng)框架

免費(fèi)的Vitis背后：5年1000人工年致力于創(chuàng)造美好世界

在介紹前，仍然需要強(qiáng)調(diào)的是該軟件平臺(tái)是“開(kāi)放，標(biāo)準(zhǔn)，免費(fèi)”的，那么這么一款免費(fèi)軟件究竟有多大的投入？據(jù)了解，平臺(tái)歷經(jīng)五年、投入總計(jì) 1000 個(gè)人工年而打造。目前業(yè)界同類廠商也正在向軟件開(kāi)發(fā)靠攏，不同于業(yè)界的是Xilinx在軟硬件全方位解鎖方面相比來(lái)說(shuō)是獨(dú)一無(wú)二的。

Xilinx研發(fā)方向一直致力于擁抱開(kāi)源社區(qū)，自2001年起，在產(chǎn)品中便用到開(kāi)源軟件和代碼。從2007年開(kāi)始，在不同開(kāi)源項(xiàng)目中貢獻(xiàn)代碼，諸如Zynq、GCC。而在今后，Vitis所發(fā)布編譯器、優(yōu)化器、機(jī)器人將會(huì)貢獻(xiàn)更多的代碼。現(xiàn)如今，8個(gè)庫(kù)提供400多種功能，并且開(kāi)箱即用加速。

圖8：Xilinx擁有廣泛的開(kāi)源庫(kù)

“雖然我們是一家半導(dǎo)體供應(yīng)商，但還是希望能夠做一個(gè)對(duì)世界、對(duì)人類有貢獻(xiàn)的供應(yīng)商”，唐曉蕾表示，目前平臺(tái)已擁有許多應(yīng)用案例。第一個(gè)是基因治療，應(yīng)用了Xilinx的產(chǎn)品可將基因組的分析時(shí)間從1天縮短到20分鐘，能夠受益的重癥新生兒會(huì)更多；第二個(gè)是DAIMILER，即汽車自動(dòng)駕駛，而在此方面通過(guò)Xilinx的硬件能夠?qū)踩挽`活性統(tǒng)一在一起；第三個(gè)是衛(wèi)星通信，正因它對(duì)保密性和技術(shù)上更加嚴(yán)苛，通過(guò)Xilinx的優(yōu)勢(shì)則更加明顯。

在社區(qū)方面，Xilinx發(fā)布了開(kāi)發(fā)者網(wǎng)站，匯集了諸多的示例、教程和文檔，目前已有30+專家文章及項(xiàng)目已經(jīng)發(fā)布，且在不斷增長(zhǎng)中，覆蓋9大細(xì)分領(lǐng)域。值得一提的是，該網(wǎng)站將持續(xù)更新，并鼓勵(lì)用戶分享創(chuàng)新。

圖9：Xilinx發(fā)布開(kāi)發(fā)者網(wǎng)站

據(jù)唐曉蕾介紹，Xilinx在2019年年收入約為30.6億美元，目前全球約有5,000名員工，6萬(wàn)多客戶，4400多個(gè)專利。

另外，Xilinx是首家擁有FPGA-as-a-Service公有云的服務(wù)商，世界首例將5G無(wú)線部署在自適應(yīng)計(jì)算領(lǐng)域的廠商，汽車方面出貨量已達(dá)1.6億片，在航空航天是自適應(yīng)計(jì)算的第一大廠商，擁有70%的工業(yè)物聯(lián)網(wǎng)視覺(jué)市場(chǎng)份額，并且在自適應(yīng)計(jì)算測(cè)試測(cè)量上是第一大邏輯IC供應(yīng)商。

總的來(lái)說(shuō)，Vitis是一款從云到端、從軟件到AI都提供了綜合全面的庫(kù)和模型的統(tǒng)一軟件平臺(tái)，更重要的是Xilinx所擁抱的“開(kāi)放，標(biāo)準(zhǔn)，免費(fèi)”必將為行業(yè)創(chuàng)造更多的可能。

據(jù)悉，今年12月3日和4日，賽靈思開(kāi)發(fā)者大會(huì)亞洲站（XDF Asia）將在北京舉行，屆時(shí)更多的應(yīng)用將被展示。