人工智能已經(jīng)成為世界上一些變革性最強的技術(shù)背后的推動力。從醫(yī)療、金融到汽車和娛樂等行業(yè)的重塑潛力無窮。然而,隨著人工智能的采用繼續(xù)激增,對訓練和部署這些復雜模型所需的巨大處理能力的需求也隨之激增。這導致了數(shù)據(jù)中心資本支出和業(yè)務支出的上升,而數(shù)據(jù)中心是這場數(shù)字革命的支柱。

當業(yè)界努力應對這些不斷增加的成本時,許多數(shù)據(jù)中心的所有者采取了一種策略,利用?人工智能訓練 支持推理成本的設備,如部署訓練有素的AI模型。雖然這一方法提供了合理的短期支出管理途徑,但它具有可能損害數(shù)據(jù)中心的財務穩(wěn)定性和業(yè)務效率的重大風險。為了保持人工智能的可持續(xù)增長,需要改變戰(zhàn)略--重點是平衡CAPEX和OPEX,同時確保長期設備的耐久性和效率。

現(xiàn)行戰(zhàn)略:攤銷和分攤費用

人工智能培訓硬件在預期壽命內(nèi)的攤銷策略很簡單。人工智能培訓涉及大量的計算資源,包括頂級的GPS和?加速器 數(shù)百萬美元。通過將成本分攤到幾年,數(shù)據(jù)中心所有者的目的是為這種龐大的CAPEX辯護,并使高端培訓設備在財務上可行。

然而,這些昂貴的硬件不僅僅停留在訓練階段,它們通常在訓練階段結(jié)束后被重新用于推理。其邏輯是,如果數(shù)據(jù)中心可以使用相同的硬件進行訓練和推理,那么合并產(chǎn)生的收入將抵消最初的投資和持續(xù)的電力成本。從理論上講,這是有意義的:在多個業(yè)務中攤銷資本資本可以減少對財務指標的壓力,從理論上講,這將導致更大的盈利性。

然而,現(xiàn)實更為復雜。依靠人工智能訓練設備進行推理帶來了數(shù)據(jù)中心再也不能忽視的局限性。

真正的罪魁禍首:電力消耗

雖然培訓設備是一項重要的資本支出投資,但在數(shù)據(jù)中心中,主要的OPEX犯罪者是培訓和推理所需的耗電量。高性能的GPS和加速器產(chǎn)生巨大的熱量,并需要大量的冷卻努力,推動電力賬單和對電力基礎(chǔ)設施的壓力。即使有先進的冷卻技術(shù)和節(jié)能做法,?運行人工智能的動力要求 在規(guī)模上繼續(xù)超過控制它們的努力。

當數(shù)據(jù)中心使用大功率訓練設備進行長時間的推理時,這個問題變得更加突出。與訓練不同的是,訓練通常會很激烈,并且可能會斷斷續(xù)續(xù)地進行,推理通常是一個連續(xù)的操作,因為模型會響應實時的數(shù)據(jù)輸入。這種持續(xù)的工作負荷意味著這些高容量系統(tǒng)運行在接近高峰的電源使用時間較長,使OPEX高于預期。

隱藏的罪魁禍首:潛伏期

在硬件處理的世界中,有一個屬性經(jīng)常在雷達下飛行,但卻有重要的暗示:延遲。延遲是指提交查詢與收到響應之間的時間延遲。雖然在訓練階段,ML的潛伏期通常是可以容忍的,但推斷卻是一個不同的故事。在這里,即使輕微的延遲也會產(chǎn)生級聯(lián)影響。超過幾秒鐘的響應時間會削弱用戶的參與,破壞用戶體驗,破壞實時處理的目的。

為了消除延遲,工程師可能會考慮通過添加更多的處理器來增加處理能力,以便并行運行。乍一看,這種方法看起來很合理;畢竟,更多的處理器應該等于更快的處理。然而,現(xiàn)實情況更為復雜。添加處理器可以顯著提高性能,但它帶來了一個巨大的權(quán)衡:CAPEX和OPEX的指數(shù)級增長。擴大硬件資源就像是在火上澆汽油。雖然它可以暫時解決延遲問題,但它同時將成本膨脹到潛在的不可持續(xù)的水平。

這種成本螺旋式上升不僅影響到初始投資,而且也影響到日常業(yè)務預算,導致電力消耗、維護和資源管理需求增加。對于許多企業(yè)來說,這種方法可能成為一種超越延遲時間減少帶來的好處的業(yè)務交易責任。為了應對這一局面,公司需要采用更高效和更可持續(xù)的減緩延遲的方法,無論是通過專門的硬件優(yōu)化、更智能的數(shù)據(jù)處理架構(gòu),還是利用旨在在不破壞預算的情況下簡化實時響應的技術(shù)。

設備折舊和使用壽命方面的挑戰(zhàn)

當前攤銷策略的一個主要缺陷是,人工智能訓練設備將持續(xù)足夠長的時間,以便在重新設計用于推斷時充分折舊。雖然這些機器是設計用于穩(wěn)健的處理能力,但持續(xù)使用的磨損可能是重要的。

在訓練過程中,AI硬件被推到極限,然后在連續(xù)的操作中進行推理可能不會像預期的那樣持久。嚴酷的事實是,許多數(shù)據(jù)中心可能在這些系統(tǒng)完全折舊之前就面臨更換這些系統(tǒng)的需要,導致提前的資本注銷和額外的財政壓力。

尋求可持續(xù)的解決辦法

面對這些挑戰(zhàn),該行業(yè)必須尋求可持續(xù)的解決辦法,在CAPEX和OPEX之間取得平衡,確保對人工智能基礎(chǔ)設施的投資不僅是合理的,而且隨著時間的推移也是持久和高效的。這就是考慮到長壽和電力效率的創(chuàng)新發(fā)揮作用的地方。

一個潛在的解決方案來自一個傳統(tǒng)上與數(shù)據(jù)中心無關(guān)的來源:汽車工業(yè)。?自動級技術(shù) 長期以來一直被設計為耐久性,一致的性能和能源效率。與傳統(tǒng)的數(shù)據(jù)中心硬件不同,自動化級系統(tǒng)能夠經(jīng)受惡劣的環(huán)境和長期的持續(xù)使用,而不會出現(xiàn)明顯的退化。這種復原力轉(zhuǎn)化為延長壽命和減少更換頻率----在考慮設備攤銷時的關(guān)鍵優(yōu)勢。

自動化的方法

一位原本專注于汽車行業(yè)的創(chuàng)新者開發(fā)了一種技術(shù),可以重新定義數(shù)據(jù)中心如何對待他們的AI戰(zhàn)略。通過利用設計,嚴格的質(zhì)量和耐久性標準的汽車世界,自動級解決方案提供了幾個優(yōu)勢,很好地配合數(shù)據(jù)中心的需要。

首先,這些系統(tǒng)設計用于較低的耗電量.不同于許多高端GPPS和人工智能加速器,這一技術(shù)優(yōu)先考慮能源效率,而不犧牲性能。這解決了電力消耗方面的主要業(yè)務操作挑戰(zhàn),減少了與大規(guī)模運行人工智能模型相關(guān)的總體運行成本。

第二,這樣的解決方案比傳統(tǒng)的人工智能訓練硬件壽命更長。該設備采用自動化等級的回彈能力,可以承受長期使用的嚴酷,而不會出現(xiàn)困擾傳統(tǒng)數(shù)據(jù)中心硬件的過早磨損。這意味著攤銷期延長,新硬件的資本投資減少,減輕了數(shù)據(jù)中心運營商的財務負擔。

重新思考人工智能策略

人工智能的崛起并沒有減緩,對數(shù)據(jù)中心的要求也沒有減緩。目前通過將昂貴的訓練設備重新用于推理來攤銷昂貴訓練設備的戰(zhàn)略,被證明是一種短視的方法,低估了電力消耗和硬件壽命的實際影響。為了避免不可持續(xù)的財政和業(yè)務壓力,必須進行戰(zhàn)略轉(zhuǎn)變。

將自動化技術(shù)解決方案納入人工智能基礎(chǔ)設施規(guī)劃可以提供急需的緩解。雖然這些系統(tǒng)可能會有一個需要重新調(diào)整預算分配的初始資本支出,但長期的好處--減少電力消耗、延長設備壽命和更平衡的攤銷時間表--超過了預付費用。

最后的想法

隨著數(shù)據(jù)中心繼續(xù)推動人工智能革命,該領(lǐng)域的領(lǐng)導人必須重新考慮他們的戰(zhàn)略,以管理與擴展人工智能相關(guān)的隱藏成本。目前通過在推理中共享使用來分攤培訓設備和抵消成本的做法忽略了關(guān)鍵的OPEX挑戰(zhàn)和硬件壽命的現(xiàn)實。

通過轉(zhuǎn)向優(yōu)先考慮效率和耐久性的解決方案,數(shù)據(jù)中心可以為人工智能的未來建立一個更可持續(xù)、更具成本效益的基礎(chǔ)。前進的道路不僅要求在人工智能模型中進行創(chuàng)新,而且還要求在驅(qū)動這些模型的基礎(chǔ)設施中進行創(chuàng)新。