在機器學習和人工智能領(lǐng)域，推斷是將經(jīng)過訓練的模型應用于現(xiàn)實世界數(shù)據(jù)以生成預測或決策的階段。在模型接受了訓練之后，可以在計算上進行密集且耗時，推理過程允許模型進行預測，以提供可行的結(jié)果。
推理時間計算
推理時間計算是指使用訓練有素的模型進行此類預測所需的計算能力量。訓練模型涉及處理大型數(shù)據(jù)集以學習模式和關(guān)系，但推斷是該模型用于對新的，看不見的數(shù)據(jù)進行預測的過程。在現(xiàn)實世界中，此階段至關(guān)重要，例如圖像識別，自然語言處理，自動駕駛汽車等。
雖然訓練時間和準確性通常是ML模型開發(fā)過程中的重點，但推理時間和效率同樣重要，尤其是在將模型部署到大規(guī)模生產(chǎn)環(huán)境中時。推斷期間模型的性能會影響實時用戶體驗和功耗等各個現(xiàn)實世界方面。例如，在自動駕駛用例中，響應速度非常緩慢的模型可能無法使用。
自適應推理時間計算
盡管通過增加的預訓練來擴展模型大小一直是改善模型性能的主要方法，但自適應推理時間計算使LLM在推理時在推理時間越來越多地思考，并使用各種策略來改善其初始響應。 LLM可以根據(jù)任務的感知難度自適應分配計算來更有效。
自適應推理時間計算是我們對LLM性能的看法，從固定的計算配額轉(zhuǎn)變?yōu)楦邉討B(tài)和有效的方法的范式轉(zhuǎn)變。自適應技術(shù)無需生成預定數(shù)量的響應或使用固定的計算配額進行搜索，而是根據(jù)任務的難度和自身感知到的改進能力，使模型可以隨時調(diào)整其計算支出。例如，LLM可能會決定為一個充滿挑戰(zhàn)的數(shù)學問題生成更多樣本，在該問題中，它正在努力尋找解決方案，同時迅速返回單個，自信的響應以進行簡單的事實查詢。這種適應性可以導致性能和效率的顯著提高，從而使LLM可以在最小化浪費的計算時更有效地解決問題。
推論指標
有幾種傳統(tǒng)的指標來評估LLM TTFT，TBT，TPOT和歸一化延遲的性能。盡管這些指標在某些方面很有用，但它們無法提供實時體驗的完整圖片，有時可能會產(chǎn)生誤導。
是時候首先令牌(ttft)
該度量標準衡量請求到達的時間與第一個輸出令牌的生成之間的延遲。它包括調(diào)度延遲，這取決于系統(tǒng)負載等因素和迅速處理時間，這受到迅速長度的影響。 TTFT的關(guān)鍵限制在于，它不能說明提示的長度。按及時長度歸一化TTFT也不是理想的，因為它也將調(diào)度延遲歸一化，因此對較短的輸入請求的懲罰不成比例。
令牌之間的時間(TBT)
該度量代表了在解碼階段中每個后續(xù)代幣產(chǎn)生的延遲，直接影響了感知的響應速度。優(yōu)化TBT對于流體用戶體驗很重要，尤其是在諸如聊天之類的實時應用程序中。然而，TBT無法揭示令牌生成過程中攤位的幅度和時間。高尾巴TBT可以在生成過程的開始時表明一個攤位，這會大大破壞用戶體驗，但是此信息并非僅由TBT捕獲。此外，TBT不考慮非統(tǒng)一的代幣生成策略，例如投機解碼，其中可以在單個迭代中生成多個令牌。
每個輸出令牌(TPOT)的時間
該度量與TBT相似，代表在解碼階段生成輸出令牌所需的平均時間。通過通過生成的解碼令牌數(shù)量將總解碼時間歸一化來計算。 TPOT的主要問題是，它通過平均所有令牌上的延遲來掩蓋令牌生成中的煩惱和失速。一個長的攤位可以顯著影響用戶體驗，但是由于令牌數(shù)量的標準化，其對TPOT的影響在數(shù)值上很小。
歸一化延遲
該度量計算請求的總執(zhí)行時間，包括調(diào)度延遲，及時處理和解碼時間，然后通過解碼令牌數(shù)量進行歸一化。在提供吞吐量的總體度量的同時，歸一化延遲可能會掩蓋重要細節(jié)，例如調(diào)度延遲。兩個計劃延遲截然不同的系統(tǒng)具有非常相似的歸一化延遲值。像TPOT一樣，標準化的延遲也可以掩蓋令牌生成中的抖動和攤位。
流動性指數(shù)
TTFT，TBT和TPOT(TPOT)等傳統(tǒng)指標無法完全捕獲LLM交互中的實時用戶體驗，因為它們無法充分說明令牌生成速度的變化。為了解決這個問題，將流動性指數(shù)引入了一種新型度量標準，旨在反映LLM在諸如CHAT之類的實時應用中的細微差別。流動性指數(shù)的靈感來自實時系統(tǒng)中基于截止日期的評估，并在LLM中處理流媒體令牌的產(chǎn)生，例如定期任務。它通過根據(jù)所需的TTFT和TBT值為每個令牌生成的截止日期設(shè)置截止日期來起作用。更高的流動性索引表明一個更光滑，更一致的令牌生成過程，與實時應用程序中的用戶期望更好。
影響推理時間的因素
幾個因素會影響模型的推理時間。這些包括模型的復雜性，用于計算的硬件以及輸入數(shù)據(jù)的性質(zhì)。優(yōu)化推理時間對于大規(guī)模部署機器學習模型至關(guān)重要。幾種技術(shù)可以幫助減少模型進行預測所需的時間。
· 模型復雜性：更大，更復雜的模型通常需要更多時間來做出預測。例如，與更簡單的模型(如決策樹或線性回歸)相比，具有數(shù)百萬參數(shù)的深神經(jīng)網(wǎng)絡可能需要更長的時間來處理數(shù)據(jù)。
· 硬件：該模型運行的硬件平臺顯著影響推理時間。傳統(tǒng)的CPU可能比專門的硬件(如GPU或TPU(張量處理單元))慢，該硬件已針對并行處理進行了優(yōu)化，尤其是對于深度學習任務。
· 批處理大?。阂淮翁幚矶鄠€輸入(一種稱為批處理推斷的方法)通常可以更快。但是，最佳批量尺寸取決于所使用的特定模型和硬件。批量太大可能會使系統(tǒng)不知所措，而批量太小可能不足以使硬件資源不足。
· 數(shù)據(jù)預處理：將輸入數(shù)據(jù)傳遞給模型之前花費的時間也有助于整體推理時間。例如，諸如令牌化之類的任務可能會增加大量開銷。
· 模型量化和修剪：通過量化，IE，降低模型權(quán)重的精度和修剪的精確度，IE，即刪除模型的不必要部分，可以幫助減少記憶足跡和推理時間，從而優(yōu)化模型。這些技術(shù)對于在資源約束設(shè)備上部署模型特別有用。
· 軟件優(yōu)化：專門的庫和框架，例如Tensorrt，ONNX運行時或LITERT可以通過優(yōu)化基礎(chǔ)計算圖來顯著加快推理過程。此外，可以使用優(yōu)化的精度算術(shù)降低，例如16位浮點而不是32位，以加快計算而無需犧牲太多準確性。
· 模型并行性：對于極大的模型，將工作負載跨多個設(shè)備拆分可以幫助減少推理時間，從而可以更快地處理。
· 邊緣計算：對于涉及移動設(shè)備或物聯(lián)網(wǎng)的應用程序，直接在邊緣部署模型，即本地設(shè)備而不是依靠云服務，可以減少往返的通信時間，從而更快地推斷。 EDGE計算允許實時決策無需將數(shù)據(jù)發(fā)送到遠程服務器。
結(jié)論
推理時間計算是機器學習模型部署的關(guān)鍵因素，尤其是在性能，效率和用戶體驗至關(guān)重要的現(xiàn)實世界應用中。減少推理時間會導致更快，更具成本效益和可擴展的AI系統(tǒng)。隨著AI技術(shù)的繼續(xù)發(fā)展，硬件加速度，模型優(yōu)化和有效的軟件框架等技術(shù)將在確保推理盡可能快速和資源效率方面發(fā)揮越來越重要的作用。優(yōu)化推理時間可以更好地體驗用戶體驗，降低運營成本以及有效擴展AI系統(tǒng)的能力。
下載文檔
