ITOps專業(yè)人員在不斷發(fā)展的、充滿挑戰(zhàn)的環(huán)境中運(yùn)作。他們面臨著一個(gè)復(fù)雜的大數(shù)據(jù)環(huán)境，通常在數(shù)千個(gè)節(jié)點(diǎn)上運(yùn)行數(shù)以萬計(jì)的應(yīng)用程序。這種狀況意味著用戶經(jīng)常會(huì)遇到大量不必要的云浪費(fèi)。相反，這也意味著提高大數(shù)據(jù)性能和/或削減支出的機(jī)會(huì)很多。

最近，在Pepperdata，進(jìn)行了一項(xiàng)數(shù)據(jù)調(diào)查，以揭示云浪費(fèi)和優(yōu)化潛力的規(guī)模。在實(shí)施解決方案之前，研究了各種客戶群。這些集群在運(yùn)行450萬個(gè)應(yīng)用程序的5000個(gè)節(jié)點(diǎn)上占了400 PB的數(shù)據(jù)。調(diào)查最終得出了一份全面的大數(shù)據(jù)性能報(bào)告，該報(bào)告結(jié)合了最新的云計(jì)算統(tǒng)計(jì)數(shù)據(jù)和大數(shù)據(jù)趨勢(shì)。

越來越多的云浪費(fèi)

Statista報(bào)告稱：“到2020年，公共云服務(wù)市場(chǎng)規(guī)模預(yù)計(jì)將達(dá)到2664億美元左右，到2022年，市場(chǎng)收入預(yù)計(jì)將超過3500億美元?！?/p>

這種增長(zhǎng)是有代價(jià)的。復(fù)雜的大數(shù)據(jù)應(yīng)用程序遷移到云中的次數(shù)越多，資源錯(cuò)配的可能性就越大。僅在2019年，云浪費(fèi)造成的損失就達(dá)140億美元左右。因此，正如Gartner所說， “到2024年，幾乎所有遷移到公共云基礎(chǔ)架構(gòu)即服務(wù)（IaaS）的舊應(yīng)用程序都將需要進(jìn)行優(yōu)化，以變得更具成本效益。”

在大數(shù)據(jù)集群中，典型的一周內(nèi)沒有優(yōu)化，最大內(nèi)存利用率的中位數(shù)比率僅為42.3％。這意味著存在大量未充分利用或浪費(fèi)群集資源的群集。

在實(shí)施云優(yōu)化之前，40個(gè)大型集群的平均浪費(fèi)為60 +％。通常，只有5-10％的工作經(jīng)歷了嚴(yán)重的浪費(fèi)，這使得優(yōu)化成為一大難題。

優(yōu)化的潛力

浪費(fèi)大量的資源可以進(jìn)行優(yōu)化。正如Google所發(fā)現(xiàn)的那樣，即使是不費(fèi)吹灰之力的云優(yōu)化也可以在兩周內(nèi)為企業(yè)的每項(xiàng)服務(wù)節(jié)省多達(dá)10％的費(fèi)用。同時(shí)，運(yùn)行六周或更長(zhǎng)時(shí)間的完全優(yōu)化的云服務(wù)可以為公司節(jié)省超過20％的費(fèi)用。

但是，優(yōu)化可能是一個(gè)挑戰(zhàn)。每個(gè)應(yīng)用程序的資源要求都在不斷變化。為了充分發(fā)揮優(yōu)化潛力，大數(shù)據(jù)解決方案需要從所有應(yīng)用程序和關(guān)聯(lián)的基礎(chǔ)架構(gòu)中收集信息，分析數(shù)據(jù)并動(dòng)態(tài)滿足資源需求的變化。

這只能借助機(jī)器學(xué)習(xí)（ML）來完成。

在ML驅(qū)動(dòng)的云優(yōu)化的幫助下，我們的研究團(tuán)隊(duì)針對(duì)大數(shù)據(jù)工作負(fù)載解鎖了一系列優(yōu)化：

· 四分之三的客戶群提高了吞吐量，并立即贏得了他們52％的工作時(shí)間。

· 25％的用戶每年至少可以節(jié)省40萬美元，而最成功的用戶每年可以節(jié)省790萬美元。

正確的大數(shù)據(jù)優(yōu)化解決方案

隨著云遷移的繼續(xù)，企業(yè)必須牢記，成本只有在未適當(dāng)優(yōu)化的情況下才會(huì)增加。業(yè)務(wù)必須努力采用機(jī)器學(xué)習(xí)驅(qū)動(dòng)的解決方案，該解決方案可以快速查明哪些集群浪費(fèi)了空間或資源，同時(shí)動(dòng)態(tài)地解決了不斷變化的資源需求。

為他們提供這種水平的可觀察性和自動(dòng)調(diào)整的解決方案是唯一可以最大化應(yīng)用程序性能并從長(zhǎng)期來看可以節(jié)省數(shù)百萬美元的軟件。