京東物流基于Doris的億級數(shù)據(jù)自助探索應(yīng)用
時間：2021-08-19 16:29:55
手機(jī)看文章
掃描二維碼
隨時隨地手機(jī)看文章
[導(dǎo)讀]導(dǎo)讀：京東智慧物流在數(shù)據(jù)應(yīng)用方面，主要是基于大數(shù)據(jù)預(yù)測分析技術(shù)實(shí)現(xiàn)智能化的調(diào)度、決策，提升物流效率，最終提升客戶的體驗(yàn)。但面對億級數(shù)據(jù)的業(yè)務(wù)場景，將會面臨著不同的問題和不同的處理方案。今天討論了京東物流在億級數(shù)據(jù)管理和應(yīng)用方面，利用ApacheDoris進(jìn)行的探索和實(shí)踐。01業(yè)務(wù)...
導(dǎo)讀：京東智慧物流在數(shù)據(jù)應(yīng)用方面，主要是基于大數(shù)據(jù)預(yù)測分析技術(shù)實(shí)現(xiàn)智能化的調(diào)度、決策，提升物流效率，最終提升客戶的體驗(yàn)。但面對億級數(shù)據(jù)的業(yè)務(wù)場景，將會面臨著不同的問題和不同的處理方案。今天討論了京東物流在億級數(shù)據(jù)管理和應(yīng)用方面，利用Apache Doris進(jìn)行的探索和實(shí)踐。01業(yè)務(wù)場景介紹首先和大家分享下京東物流業(yè)務(wù)的需求和億級數(shù)據(jù)自助應(yīng)用的背景。介紹京東物流經(jīng)營數(shù)據(jù)發(fā)展路線，底層數(shù)據(jù)的演進(jìn)思路，業(yè)務(wù)對于數(shù)據(jù)訴求迭代。1.?業(yè)務(wù)需要什么京東物流除了包括快遞服務(wù)的倉、運(yùn)、配三個環(huán)節(jié)外，它的一體化供應(yīng)鏈物流服務(wù)，則更多是基于對商品銷售和供應(yīng)鏈的理解，合理規(guī)劃倉網(wǎng)，分布庫存，提前將用戶需要的貨物儲存到其在全國范圍數(shù)百個不同等級的倉庫中。當(dāng)用戶下單后，商品將直接從最近的倉庫送達(dá)站點(diǎn)，開始配送。用戶下單后，快遞公司會通過干線網(wǎng)絡(luò)，將貨物運(yùn)輸至對應(yīng)的區(qū)域，再分發(fā)至配送站點(diǎn)進(jìn)行配送。這些服務(wù)以一體化解決方案的形式提供予客戶，滿足客戶的各種需求，業(yè)務(wù)極其復(fù)雜。對于我們數(shù)據(jù)側(cè)的建設(shè)工作者來說，會遇到各種各樣的現(xiàn)實(shí)問題：- 早：海量數(shù)據(jù)的多維查詢已經(jīng)成為常態(tài)，高時效保障是業(yè)務(wù)的最新追求，甚至要求實(shí)時；
- 散：數(shù)據(jù)存儲在不同的業(yè)務(wù)系統(tǒng)，各個系統(tǒng)沒有標(biāo)準(zhǔn)的數(shù)據(jù)規(guī)范， 數(shù)據(jù)重復(fù)建設(shè)；
- 重：日報(bào)、周報(bào)、半月報(bào)、月報(bào)等工作效率低，部分重復(fù)工作多，數(shù)據(jù)統(tǒng)計(jì)費(fèi)時費(fèi)力；
- 慢：全國區(qū)域、戰(zhàn)區(qū)以及各產(chǎn)品群數(shù)據(jù)場景多樣，無法快速響應(yīng)數(shù)據(jù)變化；
- 缺：缺少統(tǒng)一的數(shù)據(jù)資產(chǎn)管理，運(yùn)營人員無法方便、快捷地進(jìn)行統(tǒng)一的數(shù)據(jù)分析；
- 難：領(lǐng)導(dǎo)獲取數(shù)據(jù)難， 營銷投入產(chǎn)出比衡量難，數(shù)據(jù)驅(qū)動業(yè)務(wù)難，數(shù)據(jù)價值挖掘難。
① 生產(chǎn)系統(tǒng)是指在正常情況下支持單位日常業(yè)務(wù)運(yùn)作的信息系統(tǒng)。它包括生產(chǎn)數(shù)據(jù)、生產(chǎn)數(shù)據(jù)處理系統(tǒng)和生產(chǎn)網(wǎng)絡(luò)。② 數(shù)據(jù)倉庫是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報(bào)告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時間、成本、質(zhì)量以及控制。③ 數(shù)據(jù)集市是基于京東數(shù)據(jù)倉庫和大數(shù)據(jù)平臺構(gòu)建的面向各BG/BU的數(shù)據(jù)環(huán)境，為各BG/BU提供數(shù)據(jù)應(yīng)用服務(wù)，包含CFO、CMO、COO、MOBILE等數(shù)據(jù)集市。④ 應(yīng)用系統(tǒng)是指可以發(fā)揮數(shù)據(jù)價值去輔助用戶更優(yōu)地做決策（甚至行動）的一種產(chǎn)品形式。3. 數(shù)據(jù)團(tuán)隊(duì)怎么做：業(yè)財(cái)數(shù)據(jù)體系建設(shè)每個公司的業(yè)務(wù)數(shù)據(jù)和財(cái)務(wù)數(shù)據(jù)是天然割裂的狀態(tài)。舉例來說，一家全國規(guī)模的連鎖店，每個店的店員的薪資和日程運(yùn)營的費(fèi)用（如水電費(fèi)）怎么來反映到每一單上面去，如何把業(yè)務(wù)數(shù)據(jù)和財(cái)務(wù)數(shù)據(jù)打通，這有點(diǎn)像銀行的分潤，把業(yè)務(wù)數(shù)據(jù)規(guī)范到每一個環(huán)節(jié)對應(yīng)的每個功能點(diǎn)上去，即成本因素和收支因素的影響點(diǎn)，再把數(shù)據(jù)再給分擔(dān)上去。這也就是基礎(chǔ)模型搭建的一個過程，最終會支撐到上游資金分析體系的客戶的分析和成本支持。標(biāo)準(zhǔn)化后的管理側(cè)數(shù)據(jù)口徑、顆粒度及維度將全面滿足企業(yè)對精細(xì)化、實(shí)時化業(yè)財(cái)分析的要求，為業(yè)務(wù)財(cái)務(wù)出具專業(yè)的分析與報(bào)告提供數(shù)據(jù)支撐。同時，可復(fù)用的、具備公共能力的標(biāo)準(zhǔn)數(shù)據(jù)將支持企業(yè)在價值鏈條上建立多維分析架構(gòu)，利用多層次、可交叉的分析直接加強(qiáng)企業(yè)對業(yè)務(wù)信息的鉆取能力，推動業(yè)務(wù)洞察和管理智能化。02面臨的困境數(shù)據(jù)可視化、靈活分析迫在眉睫，權(quán)限管理，數(shù)據(jù)安全需要保障。1.?數(shù)據(jù)可視化建設(shè)在數(shù)據(jù)導(dǎo)出控制方面：存在的隱患：數(shù)據(jù)導(dǎo)出至本地電腦，并做分析；數(shù)據(jù)導(dǎo)出后，無法做跟蹤控制。導(dǎo)出次數(shù)達(dá)3000次/周。解決方案：- 長遠(yuǎn)解決方案：用戶需求反哺，沉淀方法論，線下分析報(bào)表化，支持自助探索。
- 短期解決方案：導(dǎo)出時，彈窗提醒法律風(fēng)險；導(dǎo)出形成賬單，并每月發(fā)送給區(qū)總了解。
- 分析權(quán)限：因歷史積累，訪問大數(shù)據(jù)開發(fā)分析平臺的權(quán)限不匹配當(dāng)前安全要求。例如，有些業(yè)務(wù)分析師可以訪問庫內(nèi)全量表，未區(qū)分區(qū)域；
- 指標(biāo)權(quán)限：指標(biāo)的訪問權(quán)限控制散落在各系統(tǒng)管理，無法做到統(tǒng)一控制，容易混亂和遺漏。
- 分析權(quán)限：梳理BDP訪問權(quán)限，按照業(yè)務(wù)特性縮小訪問范圍，并制定崗位權(quán)限白皮書；
- 指標(biāo)權(quán)限：指標(biāo)出口由統(tǒng)一數(shù)據(jù)API進(jìn)行控制，指標(biāo)查看權(quán)限設(shè)置由指標(biāo)收口人在資產(chǎn)管理平臺統(tǒng)一設(shè)置。
與業(yè)務(wù)用戶代表組成調(diào)研小組，對后續(xù)工具選型進(jìn)行調(diào)研：- 內(nèi)部工具調(diào)研，京東動力目前處于快速迭代階段，調(diào)研現(xiàn)階段支持功能，定制化開發(fā)的相應(yīng)速度；
- 外部工具調(diào)研，從成本，市場成熟度，產(chǎn)品易用性，擴(kuò)展性，性能等多維度交叉比對市場主流BI工具的優(yōu)缺點(diǎn)；
- 內(nèi)外部工具對比，業(yè)務(wù)方、產(chǎn)品經(jīng)理以及研發(fā)三方組成專家評分組，對內(nèi)外部工具進(jìn)行評分；
- 工具對比結(jié)論，最終確定BI工具實(shí)施方案。
目前京東物流數(shù)據(jù)探索領(lǐng)域分析工具的目標(biāo)以及當(dāng)前目標(biāo)現(xiàn)狀的分析，包括：現(xiàn)狀情況：- 京東動力作為分析工具
- 動力從商城數(shù)據(jù)中臺引入
- 性能慢：分鐘級，高峰期出不來
- 上卷、下鉆等功能缺失
- 體驗(yàn)不友好，拖拽繁瑣
- 提數(shù)，本地分析
- 隱患：數(shù)據(jù)導(dǎo)出后無法跟蹤
- 引入更適合的工具
- 調(diào)研：動力的計(jì)劃，Tableau、永洪BI等
- 提供便捷自助服務(wù)：一站式分析平臺，集數(shù)據(jù)準(zhǔn)備、報(bào)告制作、數(shù)據(jù)分析為一體，業(yè)務(wù)人員也能輕松、快速地制作并分析數(shù)據(jù)報(bào)告，帶來業(yè)務(wù)驅(qū)動的數(shù)據(jù)分析工作模式。多維度下鉆和上卷。
- 內(nèi)嵌豐富組件，上線周期短，組件豐富，可以對所有數(shù)據(jù)源進(jìn)行合并、搜索、交互和分析。
- 移動跨屏，無縫支持PC、iPhone、iPad和Android，并在這些終端設(shè)備上保持一致、易用的用戶體驗(yàn)。
- 高性能，秒級計(jì)算，利用列存儲和內(nèi)存計(jì)算，實(shí)現(xiàn)千萬級數(shù)據(jù)分析的秒級響應(yīng)；提升性能，支撐更多的分析維度和更大的數(shù)據(jù)范圍。
- 自主分析不便捷，加工鏈條過長，需要前端，UI，產(chǎn)品以及UI多方配合，資源協(xié)調(diào)困難，溝通成本較高；
- 定制化研發(fā)投入多，定制化開發(fā)，不同維度的分析需要開發(fā)不同的匯總以及前段展示界面，底表模型變更影響范圍廣；
- 圖表組件不豐富，對于每種新的應(yīng)用場景均需要不同的額開發(fā)集成，各功能模塊之前需要聯(lián)調(diào)測試，開發(fā)周期長，暫不支持移動端；
- 無法跨屏展示
下載文檔
