人工智能的重要性怎么強調(diào)都不為過。人工智能正被用于改進(jìn)從智能手機到農(nóng)業(yè)設(shè)備到醫(yī)療系統(tǒng)再到半導(dǎo)體生產(chǎn)的一切。AI 也被用于解決非常復(fù)雜的問題，這些問題到目前為止根本無法解決。
開發(fā)人工智能技術(shù)本身就是一個充滿活力的領(lǐng)域，但人工智能的全部意義在于實現(xiàn)幾乎所有其他電子應(yīng)用的創(chuàng)新。人工智能的潛在市場與近年來出現(xiàn)的任何技術(shù)的前景一樣無限，這讓投資者異常興奮。
少數(shù)人工智能初創(chuàng)公司吸引的不是數(shù)千萬美元，而是數(shù)億美元。一小部分仍然吸引了超過 10 億美元的投資者現(xiàn)金。SambaNova 就是其中之一。該公司現(xiàn)在被認(rèn)為整體價值超過 50 億美元，這使其比財富 500 強中的許多公司更有價值。對于一家僅在兩年前從隱身模式中脫穎而出的初創(chuàng)公司來說，處于這個位置是一個有趣的位置。風(fēng)險投資絕不能保證成功，但至少籌集到 10 億美元可以證明許多投資者認(rèn)為 SambaNova 正在走向成功。
首先，SambaNova 主要關(guān)注數(shù)據(jù)中心，所以我們關(guān)注數(shù)據(jù)中心的培訓(xùn)和服務(wù)模型。當(dāng)然，整個目標(biāo)是提供能夠訓(xùn)練非常非常大、準(zhǔn)確的模型的能力。如果你看看當(dāng)前的計算能力格局，主要由 GPU 主導(dǎo)，你需要的是很多很多 GPU，因為每個 GPU 可以擁有的內(nèi)存量有限。
因此，SambaNova 帶來的是一個或兩個或四分之一機架的能力，能夠提供數(shù) TB 的內(nèi)存。這樣一來，您就可以構(gòu)建龐大的模型，可以為任何感興趣的特定工業(yè)垂直或商業(yè)垂直服務(wù)。
因此，例如，用于金融部門或用于開發(fā)聊天機器人和客戶服務(wù)、基于語音的商務(wù)的巨大自然語言處理模型。此外，自然語言處理也可用于癌癥研究。
或者我們稱之為真實分辨率的巨大視覺模型，它允許您在不降低分辨率使圖像更加模糊的情況下處理醫(yī)學(xué)圖像，這樣您就可以將其適應(yīng)傳統(tǒng)系統(tǒng)的內(nèi)存要求。
或者，相反，人們?yōu)楣芾碛邢迌?nèi)存所做的另一件事是將大約 20k x 20k 的圖像切成小塊，然后可以處理這些小塊中的每一個。但是您獨立處理補丁，并且您可能會丟失跨邊界的重要功能。因此，通過能夠處理 20k x 20k 的圖像并創(chuàng)建可以采用圖像的整個分辨率的模型，你們都可以獲得精細(xì)的細(xì)節(jié)，有可能取消你試圖成像的任何東西。您還可以獲得跨越大片圖像的特征，并使用這些特征來提高您嘗試做的任何事情的準(zhǔn)確性。
因此，在醫(yī)學(xué)成像、天文學(xué)、科學(xué)成像、X 射線成像中，所有這些都在生成巨大的圖像，而這些圖像無法用今天的能力輕松處理。我們能夠使用 SambaNova 系統(tǒng)做到這一點。
這么多種類的用例。第三個經(jīng)典用例是大型推薦系統(tǒng)。您要做的是準(zhǔn)確捕捉您要為其推薦的潛在客戶的個性。這以所謂的巨大嵌入表的形式出現(xiàn)，它捕捉了這種細(xì)節(jié)。這些表達(dá)到了 TB 級。
同樣，您希望能夠處理那些大型嵌入表，因為嵌入表越大，模型越準(zhǔn)確，您就能提供更好的推薦。
因此，所有這些功能都由 SambaNova 系統(tǒng)提供。我們在系統(tǒng)開發(fā)過程中關(guān)注的關(guān)鍵特性之一是能夠訓(xùn)練這些大型模型(以及這些大型模型，它們將為您提供最先進(jìn)的準(zhǔn)確性)，但也為他們服務(wù)。
這有兩個好處。一是，你服務(wù)于你所訓(xùn)練的，對吧?因此，您不必在不同的服務(wù)環(huán)境中重新驗證模型。所以通常情況下，今天，你在 GPU 上訓(xùn)練，因為 GPU 非常擅長大批量訓(xùn)練，對吧?所以當(dāng)你談到訓(xùn)練時，你需要批次中有很多例子，因為這是填充 GPU 能力以使其高效的唯一方法。
但是如果批次太小，GPU 就會變得非常低效。所以人們所做的就是他們說，GPU 不擅長做小批量。因此，我們將轉(zhuǎn)向 CPU，因為在推理方面，您一次會收到一個請求。這些請求不會成批出現(xiàn)，或者如果您等到收到一批請求，那么您當(dāng)然會延遲最先出現(xiàn)的請求。所以你的延遲會變得更糟。
所以你想要的是既能非常有效地進(jìn)行大批量訓(xùn)練，又能非常有效地進(jìn)行單批次推理的能力。所以我們可以用 SambaNova 系統(tǒng)做到這一點。因此，將 SambaNova 系統(tǒng)視為非常有效地進(jìn)行訓(xùn)練和推理的能力。然后是真正的完整循環(huán)：一旦你可以在同一個平臺上進(jìn)行訓(xùn)練和推理，你就可以在它們之間動態(tài)切換。
因此，正在開發(fā)一類新的模型，使您能夠進(jìn)行所謂的持續(xù)訓(xùn)練，在這種情況下，您獲得的數(shù)據(jù)分布會發(fā)生變化，并且您想進(jìn)行調(diào)整。舉個例子，假設(shè)你有一個攝像頭正在觀察東北某處的十字路口。十字路口的景象在夏季和冬季看起來會大不相同。你希望能夠改變你的模型以適應(yīng)雪、冰或雨，而不是在陽光明媚的日子訓(xùn)練它。
所以事實證明你可以嘗試訓(xùn)練 Uber 模型，但如果你有一個自適應(yīng)的模型，結(jié)果會好得多。但這需要什么呢?這意味著您需要能夠非常有效地進(jìn)行訓(xùn)練和推理。所以這一切都指向我們所說的融合。所以你設(shè)置了非常低的功率推斷。
好吧，你可以想象，如果你有一些移動設(shè)備需要進(jìn)行推理，你真的很關(guān)心低功耗，但在很多情況下，你想要做的是，你在服務(wù)器中有一些邊緣計算能力，哪個更靠近邊緣，或者你實際上一直回到某個數(shù)據(jù)中心。但無論哪種情況，您想要的是同時進(jìn)行訓(xùn)練和推理的能力。
這就是我們對 SambaNova 的看法，因為這種能力提供了計算能力，而且還有更多。
同時做這兩件事的能力是罕見的還是獨一無二的?這個問題的來源是，你看看最大的 GPU 供應(yīng)商，你會看到他們進(jìn)入 CPU 并做了大量研究來弄清楚如何在處理和內(nèi)存之間快速有效地來回移動數(shù)據(jù)。同樣的事情還有一些最大的 CPU 公司進(jìn)入 GPU 領(lǐng)域并進(jìn)行試驗，試圖找出處理處理和內(nèi)存并簡化交換的方法。他們正在取得進(jìn)展。
下載文檔
