在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域，推斷是將經(jīng)過訓(xùn)練的模型應(yīng)用于現(xiàn)實(shí)世界數(shù)據(jù)以生成預(yù)測或決策的階段。在模型接受了訓(xùn)練之后，可以在計(jì)算上進(jìn)行密集且耗時(shí)，推理過程允許模型進(jìn)行預(yù)測，以提供可行的結(jié)果。

推理時(shí)間計(jì)算

推理時(shí)間計(jì)算是指使用訓(xùn)練有素的模型進(jìn)行此類預(yù)測所需的計(jì)算能力量。訓(xùn)練模型涉及處理大型數(shù)據(jù)集以學(xué)習(xí)模式和關(guān)系，但推斷是該模型用于對(duì)新的，看不見的數(shù)據(jù)進(jìn)行預(yù)測的過程。在現(xiàn)實(shí)世界中，此階段至關(guān)重要，例如圖像識(shí)別，自然語言處理，自動(dòng)駕駛汽車等。

雖然訓(xùn)練時(shí)間和準(zhǔn)確性通常是ML模型開發(fā)過程中的重點(diǎn)，但推理時(shí)間和效率同樣重要，尤其是在將模型部署到大規(guī)模生產(chǎn)環(huán)境中時(shí)。推斷期間模型的性能會(huì)影響實(shí)時(shí)用戶體驗(yàn)和功耗等各個(gè)現(xiàn)實(shí)世界方面。例如，在自動(dòng)駕駛用例中，響應(yīng)速度非常緩慢的模型可能無法使用。

自適應(yīng)推理時(shí)間計(jì)算

盡管通過增加的預(yù)訓(xùn)練來擴(kuò)展模型大小一直是改善模型性能的主要方法，但自適應(yīng)推理時(shí)間計(jì)算使LLM在推理時(shí)在推理時(shí)間越來越多地思考，并使用各種策略來改善其初始響應(yīng)。 LLM可以根據(jù)任務(wù)的感知難度自適應(yīng)分配計(jì)算來更有效。

自適應(yīng)推理時(shí)間計(jì)算是我們對(duì)LLM性能的看法，從固定的計(jì)算配額轉(zhuǎn)變?yōu)楦邉?dòng)態(tài)和有效的方法的范式轉(zhuǎn)變。自適應(yīng)技術(shù)無需生成預(yù)定數(shù)量的響應(yīng)或使用固定的計(jì)算配額進(jìn)行搜索，而是根據(jù)任務(wù)的難度和自身感知到的改進(jìn)能力，使模型可以隨時(shí)調(diào)整其計(jì)算支出。例如，LLM可能會(huì)決定為一個(gè)充滿挑戰(zhàn)的數(shù)學(xué)問題生成更多樣本，在該問題中，它正在努力尋找解決方案，同時(shí)迅速返回單個(gè)，自信的響應(yīng)以進(jìn)行簡單的事實(shí)查詢。這種適應(yīng)性可以導(dǎo)致性能和效率的顯著提高，從而使LLM可以在最小化浪費(fèi)的計(jì)算時(shí)更有效地解決問題。

推論指標(biāo)

有幾種傳統(tǒng)的指標(biāo)來評(píng)估LLM TTFT，TBT，TPOT和歸一化延遲的性能。盡管這些指標(biāo)在某些方面很有用，但它們無法提供實(shí)時(shí)體驗(yàn)的完整圖片，有時(shí)可能會(huì)產(chǎn)生誤導(dǎo)。

是時(shí)候首先令牌(ttft)

該度量標(biāo)準(zhǔn)衡量請求到達(dá)的時(shí)間與第一個(gè)輸出令牌的生成之間的延遲。它包括調(diào)度延遲，這取決于系統(tǒng)負(fù)載等因素和迅速處理時(shí)間，這受到迅速長度的影響。 TTFT的關(guān)鍵限制在于，它不能說明提示的長度。按及時(shí)長度歸一化TTFT也不是理想的，因?yàn)樗矊⒄{(diào)度延遲歸一化，因此對(duì)較短的輸入請求的懲罰不成比例。

令牌之間的時(shí)間(TBT)

該度量代表了在解碼階段中每個(gè)后續(xù)代幣產(chǎn)生的延遲，直接影響了感知的響應(yīng)速度。優(yōu)化TBT對(duì)于流體用戶體驗(yàn)很重要，尤其是在諸如聊天之類的實(shí)時(shí)應(yīng)用程序中。然而，TBT無法揭示令牌生成過程中攤位的幅度和時(shí)間。高尾巴TBT可以在生成過程的開始時(shí)表明一個(gè)攤位，這會(huì)大大破壞用戶體驗(yàn)，但是此信息并非僅由TBT捕獲。此外，TBT不考慮非統(tǒng)一的代幣生成策略，例如投機(jī)解碼，其中可以在單個(gè)迭代中生成多個(gè)令牌。

每個(gè)輸出令牌(TPOT)的時(shí)間

該度量與TBT相似，代表在解碼階段生成輸出令牌所需的平均時(shí)間。通過通過生成的解碼令牌數(shù)量將總解碼時(shí)間歸一化來計(jì)算。 TPOT的主要問題是，它通過平均所有令牌上的延遲來掩蓋令牌生成中的煩惱和失速。一個(gè)長的攤位可以顯著影響用戶體驗(yàn)，但是由于令牌數(shù)量的標(biāo)準(zhǔn)化，其對(duì)TPOT的影響在數(shù)值上很小。

歸一化延遲

該度量計(jì)算請求的總執(zhí)行時(shí)間，包括調(diào)度延遲，及時(shí)處理和解碼時(shí)間，然后通過解碼令牌數(shù)量進(jìn)行歸一化。在提供吞吐量的總體度量的同時(shí)，歸一化延遲可能會(huì)掩蓋重要細(xì)節(jié)，例如調(diào)度延遲。兩個(gè)計(jì)劃延遲截然不同的系統(tǒng)具有非常相似的歸一化延遲值。像TPOT一樣，標(biāo)準(zhǔn)化的延遲也可以掩蓋令牌生成中的抖動(dòng)和攤位。

流動(dòng)性指數(shù)

TTFT，TBT和TPOT(TPOT)等傳統(tǒng)指標(biāo)無法完全捕獲LLM交互中的實(shí)時(shí)用戶體驗(yàn)，因?yàn)樗鼈儫o法充分說明令牌生成速度的變化。為了解決這個(gè)問題，將流動(dòng)性指數(shù)引入了一種新型度量標(biāo)準(zhǔn)，旨在反映LLM在諸如CHAT之類的實(shí)時(shí)應(yīng)用中的細(xì)微差別。流動(dòng)性指數(shù)的靈感來自實(shí)時(shí)系統(tǒng)中基于截止日期的評(píng)估，并在LLM中處理流媒體令牌的產(chǎn)生，例如定期任務(wù)。它通過根據(jù)所需的TTFT和TBT值為每個(gè)令牌生成的截止日期設(shè)置截止日期來起作用。更高的流動(dòng)性索引表明一個(gè)更光滑，更一致的令牌生成過程，與實(shí)時(shí)應(yīng)用程序中的用戶期望更好。

影響推理時(shí)間的因素

幾個(gè)因素會(huì)影響模型的推理時(shí)間。這些包括模型的復(fù)雜性，用于計(jì)算的硬件以及輸入數(shù)據(jù)的性質(zhì)。優(yōu)化推理時(shí)間對(duì)于大規(guī)模部署機(jī)器學(xué)習(xí)模型至關(guān)重要。幾種技術(shù)可以幫助減少模型進(jìn)行預(yù)測所需的時(shí)間。

· 模型復(fù)雜性：更大，更復(fù)雜的模型通常需要更多時(shí)間來做出預(yù)測。例如，與更簡單的模型(如決策樹或線性回歸)相比，具有數(shù)百萬參數(shù)的深神經(jīng)網(wǎng)絡(luò)可能需要更長的時(shí)間來處理數(shù)據(jù)。

· 硬件：該模型運(yùn)行的硬件平臺(tái)顯著影響推理時(shí)間。傳統(tǒng)的CPU可能比專門的硬件(如GPU或TPU(張量處理單元))慢，該硬件已針對(duì)并行處理進(jìn)行了優(yōu)化，尤其是對(duì)于深度學(xué)習(xí)任務(wù)。

· 批處理大?。阂淮翁幚矶鄠€(gè)輸入(一種稱為批處理推斷的方法)通?？梢愿?。但是，最佳批量尺寸取決于所使用的特定模型和硬件。批量太大可能會(huì)使系統(tǒng)不知所措，而批量太小可能不足以使硬件資源不足。

· 數(shù)據(jù)預(yù)處理：將輸入數(shù)據(jù)傳遞給模型之前花費(fèi)的時(shí)間也有助于整體推理時(shí)間。例如，諸如令牌化之類的任務(wù)可能會(huì)增加大量開銷。

· 模型量化和修剪：通過量化，IE，降低模型權(quán)重的精度和修剪的精確度，IE，即刪除模型的不必要部分，可以幫助減少記憶足跡和推理時(shí)間，從而優(yōu)化模型。這些技術(shù)對(duì)于在資源約束設(shè)備上部署模型特別有用。

· 軟件優(yōu)化：專門的庫和框架，例如Tensorrt，ONNX運(yùn)行時(shí)或LITERT可以通過優(yōu)化基礎(chǔ)計(jì)算圖來顯著加快推理過程。此外，可以使用優(yōu)化的精度算術(shù)降低，例如16位浮點(diǎn)而不是32位，以加快計(jì)算而無需犧牲太多準(zhǔn)確性。

· 模型并行性：對(duì)于極大的模型，將工作負(fù)載跨多個(gè)設(shè)備拆分可以幫助減少推理時(shí)間，從而可以更快地處理。

· 邊緣計(jì)算：對(duì)于涉及移動(dòng)設(shè)備或物聯(lián)網(wǎng)的應(yīng)用程序，直接在邊緣部署模型，即本地設(shè)備而不是依靠云服務(wù)，可以減少往返的通信時(shí)間，從而更快地推斷。 EDGE計(jì)算允許實(shí)時(shí)決策無需將數(shù)據(jù)發(fā)送到遠(yuǎn)程服務(wù)器。

結(jié)論

推理時(shí)間計(jì)算是機(jī)器學(xué)習(xí)模型部署的關(guān)鍵因素，尤其是在性能，效率和用戶體驗(yàn)至關(guān)重要的現(xiàn)實(shí)世界應(yīng)用中。減少推理時(shí)間會(huì)導(dǎo)致更快，更具成本效益和可擴(kuò)展的AI系統(tǒng)。隨著AI技術(shù)的繼續(xù)發(fā)展，硬件加速度，模型優(yōu)化和有效的軟件框架等技術(shù)將在確保推理盡可能快速和資源效率方面發(fā)揮越來越重要的作用。優(yōu)化推理時(shí)間可以更好地體驗(yàn)用戶體驗(yàn)，降低運(yùn)營成本以及有效擴(kuò)展AI系統(tǒng)的能力。