Hailo助力挖掘生成式人工智能與新興邊緣應(yīng)用潛能

互聯(lián)網(wǎng)已經(jīng)深入滲透到我們生活的方方面面,從溝通交流到購(gòu)物消費(fèi),再到工作生產(chǎn),其影響無(wú)處不在。然而,隨著互聯(lián)網(wǎng)不斷向網(wǎng)絡(luò)邊緣拓展,出于對(duì)延遲、隱私及成本效益的綜合考量,“物聯(lián)網(wǎng)”概念應(yīng)運(yùn)而生,為現(xiàn)代生活提供了全新的可能性。

在人工智能技術(shù)的助力下,互聯(lián)網(wǎng)服務(wù)已經(jīng)開(kāi)始趨向便捷化、個(gè)性化和智能化。然而,目前的人工智能技術(shù)仍然高度依賴云端大型服務(wù)器和高性能計(jì)算能力,這在一定程度上限制了其應(yīng)用場(chǎng)景。正因如此,像Hailo這樣的企業(yè)正著眼于解決延遲、隱私和成本效益等問(wèn)題,積極研發(fā)邊緣人工智能技術(shù),以期推動(dòng)更為廣泛的應(yīng)用。

生成式人工智能無(wú)疑是下一個(gè)引領(lǐng)時(shí)代的大趨勢(shì),它在各行各業(yè)均顯露出無(wú)可估量的潛能。對(duì)于創(chuàng)作者群體——諸如律師、文字創(chuàng)作者、平面設(shè)計(jì)師等,生成式人工智能不僅可為他們簡(jiǎn)化工作流程,更能大幅提升工作效率。在醫(yī)療領(lǐng)域,生成式人工智能有助于研發(fā)新型治療藥物,甚至輔助醫(yī)療程序。此外,通過(guò)視頻、音頻、圖像等的智能合成技術(shù),生成式人工智能還能促進(jìn)工業(yè)自動(dòng)化、推動(dòng)新軟件代碼的開(kāi)發(fā),并顯著提升交通運(yùn)輸?shù)陌踩浴?

然而,目前生成式人工智能的發(fā)展仍受到技術(shù)層面的限制。這主要是因?yàn)槠溥\(yùn)算過(guò)程主要發(fā)生在云端——即遠(yuǎn)離用戶的大型數(shù)據(jù)中心。這些數(shù)據(jù)中心依賴昂貴且能耗高的計(jì)算機(jī)處理器來(lái)維持運(yùn)行。每當(dāng)用戶向ChatGPT這類生成式人工智能工具或新型人工智能視頻會(huì)議解決方案發(fā)出指令時(shí),請(qǐng)求都需要通過(guò)互聯(lián)網(wǎng)傳輸至云端進(jìn)行處理,處理完的結(jié)果再通過(guò)網(wǎng)絡(luò)返回給用戶。數(shù)據(jù)中心作為主要的能耗場(chǎng)所,隨著人工智能的廣泛應(yīng)用,全球能耗預(yù)計(jì)將急劇上升。這對(duì)于那些需要在創(chuàng)新解決方案與降低運(yùn)營(yíng)成本及環(huán)境影響之間尋求平衡的公司來(lái)說(shuō),無(wú)疑是一個(gè)日益嚴(yán)重的問(wèn)題。

隨著企業(yè)不斷開(kāi)發(fā)出新的生成式人工智能應(yīng)用,并將其部署到各種類型的設(shè)備上——包括攝像機(jī)、安全系統(tǒng)、工業(yè)和私人機(jī)器人、筆記本電腦乃至汽車,云端在帶寬、成本、安全性以及連接性等方面的局限性愈發(fā)凸顯,成為了一個(gè)亟待解決的瓶頸問(wèn)題。

在駕駛輔助、個(gè)人電腦軟件、視頻會(huì)議和安全等領(lǐng)域的應(yīng)用中,頻繁地在網(wǎng)絡(luò)上傳輸數(shù)據(jù)可能會(huì)引發(fā)潛在的隱私泄露風(fēng)險(xiǎn)。而基于邊緣計(jì)算的生成式人工智能技術(shù)則有望為眾多新興應(yīng)用帶來(lái)巨大的益處,不僅能夠提升處理效率,還能更好地保護(hù)用戶隱私。

生成式人工智能正在崛起

近年來(lái),視頻會(huì)議已成為我們大多數(shù)人的日常。軟件公司已經(jīng)開(kāi)始將多種形式的人工智能技術(shù)融入視頻會(huì)議解決方案中,其目的或許是為了實(shí)時(shí)優(yōu)化音視頻質(zhì)量,抑或是將與會(huì)者置于同一虛擬空間。如今,借助生成式人工智能的視頻會(huì)議系統(tǒng)能夠自動(dòng)創(chuàng)建會(huì)議記錄,并在討論不同主題時(shí),實(shí)時(shí)從資源庫(kù)中調(diào)取相關(guān)信息。

然而,若智能汽車、視頻會(huì)議系統(tǒng)或其他邊緣設(shè)備無(wú)法與云端建立連接,生成式人工智能的體驗(yàn)便無(wú)法實(shí)現(xiàn)。那么,如果這些設(shè)備無(wú)需連接云端又能如何呢?盡管考慮到云端人工智能的強(qiáng)大處理能力,這看似是一項(xiàng)艱巨的挑戰(zhàn),但如今這一愿景正逐步變?yōu)楝F(xiàn)實(shí)。

邊緣生成式人工智能

目前市場(chǎng)上已存在一些生成式人工智能工具,這些工具能自動(dòng)創(chuàng)建內(nèi)容豐富、引人入勝的演示文稿。然而,用戶期望即便是在沒(méi)有互聯(lián)網(wǎng)連接的情況下這些工具也能正常工作。

同樣值得關(guān)注的是,我們已見(jiàn)證了一種基于生成式人工智能的新型“副駕駛”助手的誕生。這類助手通過(guò)自動(dòng)化眾多常規(guī)任務(wù)(例如生成報(bào)告或數(shù)據(jù)可視化),將深刻改變我們與計(jì)算設(shè)備的交互方式。設(shè)想一下,當(dāng)你打開(kāi)筆記本電腦時(shí),其攝像頭能夠識(shí)別你的身份,并依據(jù)你經(jīng)常使用的工具(如Outlook、Teams、Slack、Trello等)自動(dòng)為你生成當(dāng)天、當(dāng)周乃至當(dāng)月的計(jì)劃。但為了確保數(shù)據(jù)隱私并提升用戶體驗(yàn),用戶須有權(quán)選擇在本地運(yùn)行生成式人工智能,以避免數(shù)據(jù)的遠(yuǎn)程傳輸和處理。

除了能夠應(yīng)對(duì)不穩(wěn)定的網(wǎng)絡(luò)連接和數(shù)據(jù)隱私問(wèn)題,邊緣人工智能還具備降低帶寬需求并提升應(yīng)用程序性能的顯著優(yōu)勢(shì)。舉例來(lái)說(shuō),若一個(gè)生成式人工智能應(yīng)用程序正在云端創(chuàng)建數(shù)據(jù)豐富的內(nèi)容,比如虛擬會(huì)議空間,此過(guò)程可能會(huì)受到可用帶寬(且價(jià)格昂貴)的限制而導(dǎo)致延遲。而對(duì)于某些類型的生成式人工智能應(yīng)用,如安全監(jiān)控、機(jī)器人技術(shù)或醫(yī)療保健,它們對(duì)高性能、低延遲的響應(yīng)有著很高的要求,這是云端連接所無(wú)法滿足的。

在視頻安防領(lǐng)域,當(dāng)目標(biāo)人物在多個(gè)攝像頭間移動(dòng),特別是在網(wǎng)絡(luò)無(wú)法覆蓋的區(qū)域,就需要在攝像頭內(nèi)部集成數(shù)據(jù)模型和人工智能處理能力。在這種情境下,生成式人工智能能夠通過(guò)簡(jiǎn)單的查詢指令(例如,“查找穿著紅色T恤、戴著棒球帽的8歲孩子”)來(lái)自動(dòng)描述攝像頭捕捉到的內(nèi)容。

這便是邊緣生成式人工智能。

邊緣人工智能的發(fā)展

通過(guò)運(yùn)用新型人工智能處理器,研發(fā)更為精簡(jiǎn)、高效且性能強(qiáng)大的生成式人工智能數(shù)據(jù)模型,可以設(shè)計(jì)出即便在無(wú)法或不適宜使用云連接的情況下,也能實(shí)現(xiàn)智能運(yùn)行的邊緣設(shè)備。

當(dāng)然,云處理在生成式人工智能領(lǐng)域仍占據(jù)重要地位。例如,人工智能模型的訓(xùn)練環(huán)節(jié)依舊依賴于云端。然而,將用戶輸入應(yīng)用于這些模型的行為卻可以在邊緣端完成。

當(dāng)前,業(yè)界正在積極研發(fā)更為精簡(jiǎn)、小巧且高效的人工智能模型,這些模型可被輕松加載至邊緣設(shè)備上。諸如Hailo之類的企業(yè)專注于生產(chǎn)專用于執(zhí)行神經(jīng)網(wǎng)絡(luò)處理的人工智能處理器。這類神經(jīng)網(wǎng)絡(luò)處理器不僅處理人工智能模型的速度極快,而且功耗更低,從而顯著提升了能源利用效率,使其廣泛適用于從智能手機(jī)到攝像頭的各類邊緣設(shè)備。

在邊緣運(yùn)用生成式人工智能,可以有效地平衡不斷增長(zhǎng)的工作負(fù)載,使應(yīng)用程序能夠?qū)崿F(xiàn)更為穩(wěn)定的擴(kuò)展,降低云數(shù)據(jù)中心的昂貴處理成本,并有助于減少對(duì)環(huán)境的影響。生成式人工智能正處于再次改變計(jì)算領(lǐng)域的邊緣。未來(lái),筆記本電腦上的大型語(yǔ)言模型可能會(huì)像如今的操作系統(tǒng)一樣實(shí)現(xiàn)自動(dòng)更新,并以相似的方式運(yùn)行。然而,為了實(shí)現(xiàn)這一目標(biāo),我們需要在網(wǎng)絡(luò)邊緣啟用生成式人工智能處理。這一舉措有望帶來(lái)性能提升、能源利用效率提高、安全性與隱私性增強(qiáng)的多重效益。所有這些因素都將共同推動(dòng)人工智能應(yīng)用程序像生成式人工智能技術(shù)本身一樣,重塑我們的世界。

面對(duì)科技行業(yè)的持續(xù)變革,Hailo正積極探索并研發(fā)邊緣人工智能技術(shù),致力于挖掘生成式人工智能與新興邊緣應(yīng)用的結(jié)合所帶來(lái)的無(wú)限潛能。隨著邊緣生成式人工智能技術(shù)的不斷進(jìn)步,一個(gè)更加智能、高效且環(huán)保的計(jì)算新時(shí)代將展現(xiàn)在我們面前。2024年臺(tái)北國(guó)際電腦展(Computex Taipei)將于6月4日至7日在臺(tái)北南港展覽館隆重舉行,屆時(shí),Hailo將展示其領(lǐng)先的生成式人工智能解決方案。Hailo誠(chéng)邀業(yè)界同仁、技術(shù)愛(ài)好者以及尋求創(chuàng)新解決方案的企業(yè)代表蒞臨參觀。