從數(shù)據(jù)中心到物聯(lián)網(wǎng)設(shè)備，人工智能計(jì)算的持續(xù)發(fā)展（5）

事情變得越來(lái)越復(fù)雜，但我們正在嘗試簡(jiǎn)化它們。但是功耗和處理之間存在關(guān)系。我想知道問(wèn)題的復(fù)雜性、我們?cè)诮鉀Q該問(wèn)題的處理方面所做的工作以及功耗之間的相互作用是什么。

對(duì)。嗯，這是一個(gè)很好的觀點(diǎn)。因?yàn)槲覀円恢痹谡務(wù)摰暮芏嚓P(guān)于人工智能的東西聽起來(lái)像是很多軟件，而且確實(shí)如此。歸根結(jié)底，你可以在幾乎任何類型的執(zhí)行引擎上完成 AI，無(wú)論是通用 CPU、通用 DSP，當(dāng)然，GPU 很早就成為了流行的選擇，對(duì)吧?因?yàn)樗鼈冊(cè)诮Y(jié)構(gòu)上的架構(gòu)使得它們比 CPU 和 DSP 更有效地進(jìn)行矩陣運(yùn)算。

但你幾乎可以在每臺(tái)設(shè)備上運(yùn)行 AI。近年來(lái)發(fā)生的事情是，我們會(huì)看到一系列專門用于創(chuàng)建專門用于運(yùn)行 AI 工作負(fù)載的架構(gòu)的專業(yè)化。諸如 TPU 之類的東西，它們是張量處理單元。事物有不同的名稱。NPU 代表神經(jīng)處理單元，專為 AI 工作負(fù)載而設(shè)計(jì)。你能否將在 NPU 上運(yùn)行的 AI 工作負(fù)載運(yùn)行在通用 CPU 或 DSP 上?也許你可以。我們所暗示的問(wèn)題是，與專用處理器相比，它對(duì)在通用處理器上運(yùn)行該圖的效率有什么影響?兩者之間可能存在數(shù)量級(jí)的效率差異。而且，當(dāng)然，

處理方面的另一個(gè)元素是我在最后提到的帶有 U 的東西：CPU、TPU 和 NPU。這意味著一種可以配置的架構(gòu)，但它有點(diǎn)用于這些專門的工作負(fù)載。我們看到很多客戶都有非常具體的用例，他們正在構(gòu)建自己的神經(jīng)網(wǎng)絡(luò)加速器。即使是一個(gè)通用的流程被設(shè)計(jì)用來(lái)處理，比如說(shuō)，一個(gè)類或廣泛的人工智能工作負(fù)載，對(duì)于他們的特定應(yīng)用程序來(lái)說(shuō)可能不夠高效。因此，他們正在推出自己的產(chǎn)品，他們正在建造自己的，并且正在建造自己的加速器。順便說(shuō)一句，這些加速器可能與 CPU 或 DSP 或 NPU 并存。

但隨后他們正在處理一些特定的 AI 工作負(fù)載，這些工作負(fù)載可能需要以比我們?cè)诟ㄓ玫奶幚碓刂恢型瓿傻母叩男阅芩竭\(yùn)行。所以我會(huì)說(shuō)，在那種學(xué)習(xí)模式下，人工智能有點(diǎn)像，作為一個(gè)行業(yè)，我們正在開發(fā)特別適合更好地做人工智能的處理器架構(gòu)。

順便說(shuō)一句，AI 不會(huì)取代 SOC 上存在的一些現(xiàn)有處理要求。例如，我們必須能夠進(jìn)行實(shí)時(shí)控制;你必須能夠進(jìn)行信號(hào)處理。而且，將每種處理工作負(fù)載所需的所有門都安裝到單個(gè)執(zhí)行單元處理器中并不是很有效，甚至在技術(shù)上也不可能。

因此，客戶通常正在尋找一種方法來(lái)創(chuàng)建異構(gòu)處理平臺(tái)，在這些平臺(tái)上，他們可以使用由 CPU、DSP、浮點(diǎn)單元，然后是信號(hào)處理器、GPU 和 AI 加速器或 AI 或 NPU、神經(jīng)處理單元的總線連接的任意組合，以完成其特定應(yīng)用程序的任何任務(wù)。所以他們希望基本上混合和匹配，對(duì)于我想在我的應(yīng)用程序中完成的不同工作負(fù)載，最有效的處理單元是什么?

如果我們是一家大型公司，例如超大規(guī)模企業(yè)之一，那么我們可能擁有在內(nèi)部執(zhí)行此操作的專業(yè)知識(shí)。如果你是一家規(guī)模較小的公司，AI 知道，你內(nèi)部可能沒有這種專業(yè)知識(shí)。我們可能不想在內(nèi)部擁有這種專業(yè)知識(shí)，因?yàn)槲覀兛赡懿粫?huì)一直需要它。我想對(duì)于那個(gè)級(jí)別的公司來(lái)說(shuō)，走出去尋找同時(shí)具備 IP 專業(yè)知識(shí)和設(shè)計(jì)專業(yè)知識(shí)的人是一種溢價(jià)。

是的。并且不要忘記其中的工具部分。所以有硬件部分，你剛才準(zhǔn)確地描述了客戶，根據(jù)這些客戶的規(guī)模，做出權(quán)衡。這是經(jīng)典的構(gòu)建與購(gòu)買。如果我能找到現(xiàn)成的組件——例如 IP——滿足我的要求，我的 PPA——我的性能、功率和面積要求——那么這可能是我的最佳選擇。

而且我可以把我寶貴的資源投入到做更有差異化的事情上。

因此，客戶正在與他們交談的供應(yīng)商中做出這些選擇。他們從一個(gè)供應(yīng)商那里得到的東西越多，通常就越好。但工具方面也很重要。我不僅指實(shí)現(xiàn) SOC 所需的各種工具，我還指與處理器架構(gòu)配套使用的工具。處理器本身，無(wú)論架構(gòu)多么巧妙，如果你不能對(duì)它們進(jìn)行編程，它們就毫無(wú)價(jià)值。理解大部分努力都用于開發(fā)軟件并不是一個(gè)革命性的想法，并且我們需要能夠?qū)④浖顿Y從一代處理器帶到下一代。因此，這些工具對(duì)于程序員能夠以有效的方式創(chuàng)建以及標(biāo)準(zhǔn)之間的互操作性非常重要，

而且，在邊緣設(shè)備的情況下，你必須擔(dān)心內(nèi)存。設(shè)備上有多少內(nèi)存?所以代碼密度。云中沒有人擔(dān)心代碼。關(guān)于他們的計(jì)劃有多大。在這些類型的應(yīng)用程序中，大部分內(nèi)存都是免費(fèi)的。

在受限設(shè)備中，情況并非如此。所以你甚至在看類似的東西，我的編譯器會(huì)創(chuàng)建非常密集的程序嗎?因此，一些編譯器比其他編譯器更優(yōu)化，更擅長(zhǎng)做這件事。因此，我們將所有這些因素都考慮在內(nèi)——所需的工具、可用的操作系統(tǒng)、用于執(zhí)行機(jī)器學(xué)習(xí)應(yīng)用程序的庫(kù)構(gòu)建塊，以及它們?cè)诙啻蟪潭壬显试S我映射到我擁有的不同硬件資源— SOC 開發(fā)人員在考慮選擇供應(yīng)商時(shí)會(huì)考慮所有這些因素。

我們一直在與 Synopsys 的 Matt Gutierrez 討論邊緣人工智能。我提到，隨著去年收購(gòu) Virage，Synopsys 現(xiàn)在擁有更豐富的 IP 組合來(lái)為其客戶提供服務(wù)。這是 Matt 提供了一些關(guān)于其中包含的內(nèi)容的細(xì)節(jié)。

大多數(shù)人都知道 Synopsys 是用于實(shí)施和驗(yàn)證 SOC 的 EDA 工具提供商。當(dāng)然，我們以廣泛的知識(shí)產(chǎn)權(quán)組合而聞名。Synopsys 的 IP 產(chǎn)品線之一是弧形處理器 IP 產(chǎn)品組合，專為嵌入式設(shè)備而設(shè)計(jì)：具有功率和面積限制的設(shè)備。因此，我們針對(duì)不同的處理工作負(fù)載開發(fā)了一系列處理器。

我們有 CPU;我們有 DSP，包括高端矢量 DSP;我們有視覺處理器;我們有神經(jīng)網(wǎng)絡(luò)加速器。所以我們認(rèn)識(shí)到 SOC 正變得越來(lái)越異構(gòu)。特別是在邊緣設(shè)備中，我們需要能夠高效地處理工作負(fù)載。我們無(wú)法在一個(gè)大型處理器上完成所有工作，我們需要將這些工作負(fù)載分解為各種處理元素，這些元素將以最省電和最節(jié)省面積的方式完成。這就是我們構(gòu)建投資組合的方式。

如果你考慮一下這個(gè)應(yīng)用程序，我認(rèn)為這是一個(gè)真正的應(yīng)用程序，我們將在不遠(yuǎn)的將來(lái)看到，走進(jìn)那個(gè)商場(chǎng)，讓一些東西能夠識(shí)別你和你的風(fēng)格并提出建議。我認(rèn)為對(duì)于某些人來(lái)說(shuō)，這將是一個(gè)問(wèn)題，有時(shí)是原則性的，只是因?yàn)檫@感覺像是對(duì)某種隱私的侵犯。而且我認(rèn)為還有其他像我這樣的人可能會(huì)受到時(shí)尚挑戰(zhàn)，他們實(shí)際上可能會(huì)欣賞一些人工智能大腦找出可能符合我的風(fēng)格或我對(duì)我的偏好并提出建議的人。

因此，它與我們?cè)诨ヂ?lián)網(wǎng)上描述的尾隨并沒有太大區(qū)別。當(dāng)我們?cè)趤嗰R遜上尋找一些東西時(shí)，我們會(huì)發(fā)現(xiàn)有多煩人，而我們?cè)谄渌W(wǎng)站甚至亞馬遜本身上卻被一堆廣告擊中?嘿，如果你買了這個(gè)，你可能會(huì)對(duì)這五樣?xùn)|西感興趣。有時(shí)它非常有用，有時(shí)它很煩人。我認(rèn)為同樣的事情也適用于這些更多零售環(huán)境中的一些人工智能用例。