NVIDIA EGX超級計算平臺借助企業(yè)級Kubernetes簡化邊緣AI部署

新型GPU Operator、Helm chart與NGC-Ready系統(tǒng)幫助各企業(yè)遷移至邊緣與混合平臺。

如今，AI已不再僅僅只停留在研究階段，而是已經(jīng)被應(yīng)用于各企業(yè)機構(gòu)中，幫助它們解決實際問題。而作為企業(yè)機構(gòu)，它們需要清楚地知道應(yīng)該將AI模型部署于何處，才能幫助其以更快的速度做出決策。

隨著AI、物聯(lián)網(wǎng)以及即將到來的5G基礎(chǔ)架構(gòu)三者之間正在走向互融。對于各企業(yè)而言，如今已然時機成熟——將其模型從數(shù)據(jù)中心推向邊緣。在邊緣，數(shù)十億傳感器正在源源不斷地傳輸數(shù)據(jù)，實時決策已成為現(xiàn)實。

大規(guī)模部署AI工作負(fù)載的各企業(yè)正在綜合運用本地數(shù)據(jù)中心和云端，將AI模型置于數(shù)據(jù)收集點。但是，如果企業(yè)缺乏相應(yīng)的IT專業(yè)知識，那么在諸如零售商店或室內(nèi)停車場這類邊緣地點部署工作負(fù)載，將變得非常困難。

盡管Kubernetes簡化了部署、管理與擴展應(yīng)用過程中許多手動流程，為跨越本地、邊緣與云端帶來了一致的云原生部署方法。

但是，遠(yuǎn)程設(shè)置Kubernetes集群以管理數(shù)百、甚至數(shù)千款應(yīng)用卻可能相當(dāng)麻煩，特別是在每個邊緣區(qū)域都不容易獲得人工專業(yè)支持的情況下。而如今，我們能夠通過NVIDIA EGX 邊緣超級計算平臺化解這些難題。

簡化AI部署

NVIDIA EGX是一個云原生的軟件定義平臺，旨在實現(xiàn)并高效運行大規(guī)模混合云與邊緣運維。

該平臺內(nèi)的EGX堆棧包含NVIDIA驅(qū)動程序、Kubernetes插件、NVIDIA容器運行時以及GPU監(jiān)測工具，均通過NVIDIA GPU Operator提供。Operator負(fù)責(zé)整理運行信息與工作流，利用Kubernetes自動完成容器化應(yīng)用的生命周期管理。

GPU Operator是一個由Helm chart所部署的云原生方法，針對GPU支持的Kubernetes系統(tǒng)配置，用于自動部署所有必要的組件，并完成組件標(biāo)準(zhǔn)化。NVIDIA、Red Hat及云原生社區(qū)內(nèi)的其他公司協(xié)作創(chuàng)建了GPU Operator。

GPU Operator還能夠讓IT團隊像管理CPU驅(qū)動系統(tǒng)那樣，管理GPU支持的遠(yuǎn)程服務(wù)器。這使得其可以利用單一鏡像輕松完成一組遠(yuǎn)程系統(tǒng)初啟，在無需現(xiàn)場額外技術(shù)專長的情況下運行邊緣AI應(yīng)用程序。

EGX堆棧架構(gòu)由諸如：Canonical、Cisco、微軟、Nutanix、Red Hat和Vmware等混合云管理合作伙伴提供支持，以進一步簡化部署，并提供從云端到數(shù)據(jù)中心一直到邊緣的一致體驗。

NGC-Ready for Edge系統(tǒng)

由全球領(lǐng)先的服務(wù)器制造商所提供的NGC-Ready系統(tǒng)已通過NVIDIA面向GPU優(yōu)化容器的軟件中心 NGC 的AI軟件功能與性能驗證。

在洛杉磯舉行的世界移動通信大會（MWC）上，NVIDIA宣布利用面向邊緣的NGC-Ready 系統(tǒng)進一步擴展NGC-Ready計劃，大力支持邊緣部署。這些系統(tǒng)經(jīng)過了邊緣部署要求的更多安全與遠(yuǎn)程系統(tǒng)管理測試。此類合格系統(tǒng)可完美運行EGX堆棧，為混合部署提供一個輕松入口。

已通過驗證的NGC-Ready for Edge系統(tǒng)由眾多全球領(lǐng)先的制造商提供，包括：Advantech、Altos Computing、ASRock RACK、Atos、Dell Technologies、富士通、GIGABYTE、HPE、聯(lián)想、MiTAC、QCT， Supermicro 和TYAN。

擴展NGC注冊

為部署與管理AI軟件，NGC現(xiàn)推出Helm chart注冊服務(wù)。Helm chart是強大的云原生工具，用于定制并自動完成在Kubernetes各集群內(nèi)的各種應(yīng)用部署。

NGC的Helm chart注冊包含AI框架、GPU Operator等NVIDIA軟件，以及面向醫(yī)療影像的NVIDIA Clara，和用于智慧零售以及工業(yè)檢查的NVIDIA Metropolis。NGC還托管針對第三方人工智能應(yīng)用的Helm chart，包括面向車輛分析的DeepVision、用于視頻搜索的IronYun，和執(zhí)行流分析的KineTIca。

借助NGC-Ready支持服務(wù)，開發(fā)者與運維團隊可以為其NGC-Ready for Edge系統(tǒng)獲得專用的Helm注冊，以推動與分享Helm chart。這能夠讓各團隊充分利用一致、安全且可靠的環(huán)境，加速集成與部署的持續(xù)循環(huán)。

采用NGC部署AI軟件

如需跨不同平臺輕松配置GPU驅(qū)動的Kubernetes集群，利用Helm chart與容器快速部署人工智能應(yīng)用.