人工智能的隱藏成本為什么數(shù)據(jù)中心的策略需要重新思考

人工智能已經(jīng)成為世界上一些變革性最強(qiáng)的技術(shù)背后的推動(dòng)力。從醫(yī)療、金融到汽車和娛樂等行業(yè)的重塑潛力無(wú)窮。然而,隨著人工智能的采用繼續(xù)激增,對(duì)訓(xùn)練和部署這些復(fù)雜模型所需的巨大處理能力的需求也隨之激增。這導(dǎo)致了數(shù)據(jù)中心資本支出和業(yè)務(wù)支出的上升,而數(shù)據(jù)中心是這場(chǎng)數(shù)字革命的支柱。

當(dāng)業(yè)界努力應(yīng)對(duì)這些不斷增加的成本時(shí),許多數(shù)據(jù)中心的所有者采取了一種策略,利用?人工智能訓(xùn)練 支持推理成本的設(shè)備,如部署訓(xùn)練有素的AI模型。雖然這一方法提供了合理的短期支出管理途徑,但它具有可能損害數(shù)據(jù)中心的財(cái)務(wù)穩(wěn)定性和業(yè)務(wù)效率的重大風(fēng)險(xiǎn)。為了保持人工智能的可持續(xù)增長(zhǎng),需要改變戰(zhàn)略--重點(diǎn)是平衡CAPEX和OPEX,同時(shí)確保長(zhǎng)期設(shè)備的耐久性和效率。

現(xiàn)行戰(zhàn)略:攤銷和分?jǐn)傎M(fèi)用

人工智能培訓(xùn)硬件在預(yù)期壽命內(nèi)的攤銷策略很簡(jiǎn)單。人工智能培訓(xùn)涉及大量的計(jì)算資源,包括頂級(jí)的GPS和?加速器 數(shù)百萬(wàn)美元。通過將成本分?jǐn)偟綆啄?數(shù)據(jù)中心所有者的目的是為這種龐大的CAPEX辯護(hù),并使高端培訓(xùn)設(shè)備在財(cái)務(wù)上可行。

然而,這些昂貴的硬件不僅僅停留在訓(xùn)練階段,它們通常在訓(xùn)練階段結(jié)束后被重新用于推理。其邏輯是,如果數(shù)據(jù)中心可以使用相同的硬件進(jìn)行訓(xùn)練和推理,那么合并產(chǎn)生的收入將抵消最初的投資和持續(xù)的電力成本。從理論上講,這是有意義的:在多個(gè)業(yè)務(wù)中攤銷資本資本可以減少對(duì)財(cái)務(wù)指標(biāo)的壓力,從理論上講,這將導(dǎo)致更大的盈利性。

然而,現(xiàn)實(shí)更為復(fù)雜。依靠人工智能訓(xùn)練設(shè)備進(jìn)行推理帶來(lái)了數(shù)據(jù)中心再也不能忽視的局限性。

真正的罪魁禍?zhǔn)?電力消耗

雖然培訓(xùn)設(shè)備是一項(xiàng)重要的資本支出投資,但在數(shù)據(jù)中心中,主要的OPEX犯罪者是培訓(xùn)和推理所需的耗電量。高性能的GPS和加速器產(chǎn)生巨大的熱量,并需要大量的冷卻努力,推動(dòng)電力賬單和對(duì)電力基礎(chǔ)設(shè)施的壓力。即使有先進(jìn)的冷卻技術(shù)和節(jié)能做法,?運(yùn)行人工智能的動(dòng)力要求 在規(guī)模上繼續(xù)超過控制它們的努力。

當(dāng)數(shù)據(jù)中心使用大功率訓(xùn)練設(shè)備進(jìn)行長(zhǎng)時(shí)間的推理時(shí),這個(gè)問題變得更加突出。與訓(xùn)練不同的是,訓(xùn)練通常會(huì)很激烈,并且可能會(huì)斷斷續(xù)續(xù)地進(jìn)行,推理通常是一個(gè)連續(xù)的操作,因?yàn)槟Ｐ蜁?huì)響應(yīng)實(shí)時(shí)的數(shù)據(jù)輸入。這種持續(xù)的工作負(fù)荷意味著這些高容量系統(tǒng)運(yùn)行在接近高峰的電源使用時(shí)間較長(zhǎng),使OPEX高于預(yù)期。

隱藏的罪魁禍?zhǔn)?潛伏期

在硬件處理的世界中,有一個(gè)屬性經(jīng)常在雷達(dá)下飛行,但卻有重要的暗示:延遲。延遲是指提交查詢與收到響應(yīng)之間的時(shí)間延遲。雖然在訓(xùn)練階段,ML的潛伏期通常是可以容忍的,但推斷卻是一個(gè)不同的故事。在這里,即使輕微的延遲也會(huì)產(chǎn)生級(jí)聯(lián)影響。超過幾秒鐘的響應(yīng)時(shí)間會(huì)削弱用戶的參與,破壞用戶體驗(yàn),破壞實(shí)時(shí)處理的目的。

為了消除延遲,工程師可能會(huì)考慮通過添加更多的處理器來(lái)增加處理能力,以便并行運(yùn)行。乍一看,這種方法看起來(lái)很合理;畢竟,更多的處理器應(yīng)該等于更快的處理。然而,現(xiàn)實(shí)情況更為復(fù)雜。添加處理器可以顯著提高性能,但它帶來(lái)了一個(gè)巨大的權(quán)衡:CAPEX和OPEX的指數(shù)級(jí)增長(zhǎng)。擴(kuò)大硬件資源就像是在火上澆汽油。雖然它可以暫時(shí)解決延遲問題,但它同時(shí)將成本膨脹到潛在的不可持續(xù)的水平。

這種成本螺旋式上升不僅影響到初始投資,而且也影響到日常業(yè)務(wù)預(yù)算,導(dǎo)致電力消耗、維護(hù)和資源管理需求增加。對(duì)于許多企業(yè)來(lái)說,這種方法可能成為一種超越延遲時(shí)間減少帶來(lái)的好處的業(yè)務(wù)交易責(zé)任。為了應(yīng)對(duì)這一局面,公司需要采用更高效和更可持續(xù)的減緩延遲的方法,無(wú)論是通過專門的硬件優(yōu)化、更智能的數(shù)據(jù)處理架構(gòu),還是利用旨在在不破壞預(yù)算的情況下簡(jiǎn)化實(shí)時(shí)響應(yīng)的技術(shù)。

設(shè)備折舊和使用壽命方面的挑戰(zhàn)

當(dāng)前攤銷策略的一個(gè)主要缺陷是,人工智能訓(xùn)練設(shè)備將持續(xù)足夠長(zhǎng)的時(shí)間,以便在重新設(shè)計(jì)用于推斷時(shí)充分折舊。雖然這些機(jī)器是設(shè)計(jì)用于穩(wěn)健的處理能力,但持續(xù)使用的磨損可能是重要的。

在訓(xùn)練過程中,AI硬件被推到極限,然后在連續(xù)的操作中進(jìn)行推理可能不會(huì)像預(yù)期的那樣持久。嚴(yán)酷的事實(shí)是,許多數(shù)據(jù)中心可能在這些系統(tǒng)完全折舊之前就面臨更換這些系統(tǒng)的需要,導(dǎo)致提前的資本注銷和額外的財(cái)政壓力。

尋求可持續(xù)的解決辦法

面對(duì)這些挑戰(zhàn),該行業(yè)必須尋求可持續(xù)的解決辦法,在CAPEX和OPEX之間取得平衡,確保對(duì)人工智能基礎(chǔ)設(shè)施的投資不僅是合理的,而且隨著時(shí)間的推移也是持久和高效的。這就是考慮到長(zhǎng)壽和電力效率的創(chuàng)新發(fā)揮作用的地方。

一個(gè)潛在的解決方案來(lái)自一個(gè)傳統(tǒng)上與數(shù)據(jù)中心無(wú)關(guān)的來(lái)源:汽車工業(yè)。?自動(dòng)級(jí)技術(shù) 長(zhǎng)期以來(lái)一直被設(shè)計(jì)為耐久性,一致的性能和能源效率。與傳統(tǒng)的數(shù)據(jù)中心硬件不同,自動(dòng)化級(jí)系統(tǒng)能夠經(jīng)受惡劣的環(huán)境和長(zhǎng)期的持續(xù)使用,而不會(huì)出現(xiàn)明顯的退化。這種復(fù)原力轉(zhuǎn)化為延長(zhǎng)壽命和減少更換頻率----在考慮設(shè)備攤銷時(shí)的關(guān)鍵優(yōu)勢(shì)。

自動(dòng)化的方法

一位原本專注于汽車行業(yè)的創(chuàng)新者開發(fā)了一種技術(shù),可以重新定義數(shù)據(jù)中心如何對(duì)待他們的AI戰(zhàn)略。通過利用設(shè)計(jì),嚴(yán)格的質(zhì)量和耐久性標(biāo)準(zhǔn)的汽車世界,自動(dòng)級(jí)解決方案提供了幾個(gè)優(yōu)勢(shì),很好地配合數(shù)據(jù)中心的需要。

首先,這些系統(tǒng)設(shè)計(jì)用于較低的耗電量.不同于許多高端GPPS和人工智能加速器,這一技術(shù)優(yōu)先考慮能源效率,而不犧牲性能。這解決了電力消耗方面的主要業(yè)務(wù)操作挑戰(zhàn),減少了與大規(guī)模運(yùn)行人工智能模型相關(guān)的總體運(yùn)行成本。

第二,這樣的解決方案比傳統(tǒng)的人工智能訓(xùn)練硬件壽命更長(zhǎng)。該設(shè)備采用自動(dòng)化等級(jí)的回彈能力,可以承受長(zhǎng)期使用的嚴(yán)酷,而不會(huì)出現(xiàn)困擾傳統(tǒng)數(shù)據(jù)中心硬件的過早磨損。這意味著攤銷期延長(zhǎng),新硬件的資本投資減少,減輕了數(shù)據(jù)中心運(yùn)營(yíng)商的財(cái)務(wù)負(fù)擔(dān)。

重新思考人工智能策略

人工智能的崛起并沒有減緩,對(duì)數(shù)據(jù)中心的要求也沒有減緩。目前通過將昂貴的訓(xùn)練設(shè)備重新用于推理來(lái)攤銷昂貴訓(xùn)練設(shè)備的戰(zhàn)略,被證明是一種短視的方法,低估了電力消耗和硬件壽命的實(shí)際影響。為了避免不可持續(xù)的財(cái)政和業(yè)務(wù)壓力,必須進(jìn)行戰(zhàn)略轉(zhuǎn)變。

將自動(dòng)化技術(shù)解決方案納入人工智能基礎(chǔ)設(shè)施規(guī)劃可以提供急需的緩解。雖然這些系統(tǒng)可能會(huì)有一個(gè)需要重新調(diào)整預(yù)算分配的初始資本支出,但長(zhǎng)期的好處--減少電力消耗、延長(zhǎng)設(shè)備壽命和更平衡的攤銷時(shí)間表--超過了預(yù)付費(fèi)用。

最后的想法

隨著數(shù)據(jù)中心繼續(xù)推動(dòng)人工智能革命,該領(lǐng)域的領(lǐng)導(dǎo)人必須重新考慮他們的戰(zhàn)略,以管理與擴(kuò)展人工智能相關(guān)的隱藏成本。目前通過在推理中共享使用來(lái)分?jǐn)偱嘤?xùn)設(shè)備和抵消成本的做法忽略了關(guān)鍵的OPEX挑戰(zhàn)和硬件壽命的現(xiàn)實(shí)。

通過轉(zhuǎn)向優(yōu)先考慮效率和耐久性的解決方案,數(shù)據(jù)中心可以為人工智能的未來(lái)建立一個(gè)更可持續(xù)、更具成本效益的基礎(chǔ)。前進(jìn)的道路不僅要求在人工智能模型中進(jìn)行創(chuàng)新,而且還要求在驅(qū)動(dòng)這些模型的基礎(chǔ)設(shè)施中進(jìn)行創(chuàng)新。