1. 離線ETL場(chǎng)景

離線場(chǎng)景下如何保障核心作業(yè)的SLA是比較核心的問(wèn)題。在快手，核心作業(yè)和普通作業(yè)在同一個(gè)隊(duì)列中，通過(guò)完善作業(yè)分級(jí)保障能力和異常節(jié)點(diǎn)規(guī)避能力，保障核心作業(yè)的SLA。

離線ETL場(chǎng)景中經(jīng)常會(huì)遇到以下情況以及相應(yīng)的優(yōu)化方案：

① 其他隊(duì)列作業(yè)大量占據(jù)資源不釋放

通過(guò)優(yōu)化隊(duì)列間資源搶占來(lái)解決這個(gè)問(wèn)題。為防止搶占影響過(guò)大，默認(rèn)情況下只有高優(yōu)先級(jí)核心作業(yè)觸發(fā)搶占，并且會(huì)限制每輪搶占的最大資源量。搶占過(guò)程中根據(jù)作業(yè)優(yōu)先級(jí)，饑餓等待時(shí)間等條件動(dòng)態(tài)計(jì)算每個(gè)隊(duì)列可以搶占的資源量，從而把資源傾斜給優(yōu)先級(jí)更高，饑餓等待時(shí)間更長(zhǎng)的作業(yè)。

② 隊(duì)列內(nèi)低優(yōu)先級(jí)作業(yè)占據(jù)大量資源不釋放

在生產(chǎn)場(chǎng)景下如果低優(yōu)先級(jí)作業(yè)占用大量資源不釋放，導(dǎo)致優(yōu)先級(jí)比較高的任務(wù)無(wú)法獲取到足夠資源，從而導(dǎo)致產(chǎn)出延遲。為解決這個(gè)問(wèn)題提出基于虛擬隊(duì)列來(lái)保障高優(yōu)先級(jí)作業(yè)產(chǎn)出。所謂虛擬隊(duì)列，是在物理隊(duì)列下，按照一定邏輯規(guī)則（比如優(yōu)先級(jí)）抽象出的邏輯隊(duì)列。每個(gè)虛擬隊(duì)列有一定的資源配額，并且會(huì)觸發(fā)物理隊(duì)列內(nèi)部的搶占，從而解決上面的問(wèn)題。

③ 低優(yōu)先級(jí)作業(yè)占據(jù)app solt不釋放

為方便AppSlot資源的管理，抽象出minApp概念，如果App啟動(dòng)時(shí)，隊(duì)列running App小于minApp，將會(huì)立刻啟動(dòng)App，不會(huì)受限于父隊(duì)列的maxRunningApp，這樣在隊(duì)列層面保障有可預(yù)期的app slot。但同樣存在一個(gè)問(wèn)題，隊(duì)列內(nèi)部低優(yōu)先級(jí)作業(yè)占據(jù)大量AppSlot不釋放，導(dǎo)致高優(yōu)先級(jí)作業(yè)啟動(dòng)延遲。為此提出了App Slot搶占功能。如下圖所示，如果發(fā)現(xiàn)高優(yōu)先級(jí)作業(yè)（P0）長(zhǎng)時(shí)間pending不能啟動(dòng)，掃描隊(duì)列內(nèi)runningApp，選擇低優(yōu)先級(jí)作業(yè)進(jìn)入睡眠模式（不再調(diào)度新task，極端情況下回收task）從而釋放出slot資源，保障高優(yōu)先級(jí)作業(yè)能及時(shí)啟動(dòng)。

④ 回溯作業(yè)影響生產(chǎn)作業(yè)

回溯作業(yè)的特點(diǎn)在于大量提交多個(gè)作業(yè)，如果不加控制可能會(huì)影響生產(chǎn)作業(yè)的產(chǎn)出。主要方案是限制回溯作業(yè)最大資源量和最大運(yùn)行APP數(shù)目，將影響控制在一定的范圍以內(nèi)。但是限制最大資源量和運(yùn)行數(shù)目導(dǎo)致大量回溯作業(yè)在yarn處于pending狀態(tài)，對(duì)yarn有比較大的壓力，通過(guò)與上游調(diào)度系統(tǒng)打通，反壓上層工作流調(diào)度系統(tǒng)，阻止新提交的回溯作業(yè)，從而減輕了YARN負(fù)載。對(duì)于已經(jīng)提交到y(tǒng)arn上的作業(yè)，會(huì)限制每個(gè)隊(duì)列最大pending app個(gè)數(shù)，從而保障總體pending app數(shù)目可控。

⑤ 高優(yōu)先級(jí)作業(yè)大塊資源請(qǐng)求不能及時(shí)滿足

原有的Reserve機(jī)制中，調(diào)度器可以reserve一批節(jié)點(diǎn)，不再調(diào)度新task，等待節(jié)點(diǎn)上自然釋放資源。如果被reserve節(jié)點(diǎn)資源長(zhǎng)時(shí)間不釋放，如何處理？針對(duì)這個(gè)場(chǎng)景開(kāi)發(fā)了reserve搶占功能，用于搶占reserve節(jié)點(diǎn)上的低優(yōu)先級(jí)的container，從而保障節(jié)點(diǎn)上有足夠的空閑資源啟動(dòng)高優(yōu)先級(jí)作業(yè)。

⑥ 規(guī)避異常節(jié)點(diǎn)，避免核心作業(yè)長(zhǎng)尾

通過(guò)采集節(jié)點(diǎn)物理指標(biāo)，task失敗率，task運(yùn)行速度，以及shuffle失敗率等，將此節(jié)點(diǎn)標(biāo)記為異常節(jié)點(diǎn)，不再調(diào)度新Task。從而盡量減少異常節(jié)點(diǎn)的影響范圍，規(guī)避其導(dǎo)致的Task長(zhǎng)尾，失敗問(wèn)題。

2. Adhoc即時(shí)查詢場(chǎng)景

AdHoc場(chǎng)景主要著力于提升每個(gè)用戶的查詢體驗(yàn)。

通過(guò)虛擬隊(duì)列技術(shù)，從user維度來(lái)劃分虛擬隊(duì)列，實(shí)現(xiàn)基于user公平的資源的分配，配合基于user的資源搶占，從而避免大量資源被某一個(gè)用戶占用，導(dǎo)致其他用戶長(zhǎng)時(shí)間得不到資源。

3. 機(jī)器學(xué)習(xí)訓(xùn)練場(chǎng)景

機(jī)器學(xué)習(xí)訓(xùn)練場(chǎng)景下，資源需求呈現(xiàn)all or nothing特點(diǎn)，在隊(duì)列資源緊張時(shí)，如果基于yarn原生的公平調(diào)度方式，為每個(gè)app分配部分資源，容易產(chǎn)生資源分配死鎖問(wèn)題。為此我們采用APP輪轉(zhuǎn)調(diào)度策略，采用類似FIFO策略，保障頭部APP（頭部會(huì)動(dòng)態(tài)變化，輪轉(zhuǎn)策略名稱的由來(lái)）的資源需求，避免死鎖問(wèn)題。

4. Flink實(shí)時(shí)作業(yè)場(chǎng)景

FLink實(shí)時(shí)場(chǎng)景下，主要介紹故障發(fā)生時(shí)，如何盡量減少故障的影響范圍，以及如何快速恢復(fù)故障作業(yè)：

• 通過(guò)cpu均衡調(diào)度，避免機(jī)器cpu熱點(diǎn)。

• 通過(guò)AM失敗節(jié)點(diǎn)規(guī)避機(jī)制，避免調(diào)度到AM失敗機(jī)器。

• NM掛起（不調(diào)度新Task，介于RUNNING和LOST狀態(tài)）機(jī)制，防止NM異常退出導(dǎo)致Task失敗。

• 基于Hawk秒級(jí)發(fā)現(xiàn)節(jié)點(diǎn)宕機(jī)，快速進(jìn)行作業(yè)恢復(fù)。

雖然可以基于Hawk秒級(jí)發(fā)現(xiàn)節(jié)點(diǎn)宕機(jī)，但作業(yè)恢復(fù)過(guò)程可能需要幾分鐘（申請(qǐng)資源，下載jar包，job recover等）。我們通過(guò)資源冗余分配策略，優(yōu)化掉其中資源申請(qǐng)和下載jar包過(guò)程，最終實(shí)現(xiàn)秒級(jí)作業(yè)恢復(fù)。