淘寶、美團、滴滴分別如何搭建大數(shù)據(jù)平臺？
[導(dǎo)讀]常規(guī)的大數(shù)據(jù)平臺架構(gòu)方案是基于大數(shù)據(jù)平臺Lamda架構(gòu)設(shè)計的。事實上，業(yè)界也基本是按照這種架構(gòu)模型搭建自己的大數(shù)據(jù)平臺。接著我們來看一下淘寶、美團和滴滴的大數(shù)據(jù)平臺，一方面進(jìn)一步學(xué)習(xí)大廠大數(shù)據(jù)平臺的架構(gòu)，另一方面也學(xué)習(xí)大廠的工程師如何畫架構(gòu)圖。通過大廠的這些架構(gòu)圖，就會發(fā)現(xiàn)，不但...
常規(guī)的大數(shù)據(jù)平臺架構(gòu)方案是基于大數(shù)據(jù)平臺Lamda架構(gòu)設(shè)計的。事實上，業(yè)界也基本是按照這種架構(gòu)模型搭建自己的大數(shù)據(jù)平臺。接著我們來看一下淘寶、美團和滴滴的大數(shù)據(jù)平臺，一方面進(jìn)一步學(xué)習(xí)大廠大數(shù)據(jù)平臺的架構(gòu)，另一方面也學(xué)習(xí)大廠的工程師如何畫架構(gòu)圖。通過大廠的這些架構(gòu)圖，就會發(fā)現(xiàn)，不但這些知名大廠的大數(shù)據(jù)平臺設(shè)計方案大同小異，架構(gòu)圖的畫法也有套路。淘寶大數(shù)據(jù)平臺淘寶可能是中國互聯(lián)網(wǎng)業(yè)界較早搭建了自己大數(shù)據(jù)平臺的公司，圖5.7是淘寶早期的Hadoop大數(shù)據(jù)平臺，比較典型。
淘寶的大數(shù)據(jù)平臺基本分成三部分，上面是數(shù)據(jù)源與數(shù)據(jù)同步模塊；中間是云梯1，即淘寶的Hadoop大數(shù)據(jù)集群；下面是大數(shù)據(jù)的應(yīng)用，即使用大數(shù)據(jù)集群的計算結(jié)果。
數(shù)據(jù)源主要來自O(shè)racle和MySQL的備庫，以及日志系統(tǒng)和爬蟲系統(tǒng)，這些數(shù)據(jù)通過數(shù)據(jù)同步網(wǎng)關(guān)服務(wù)器導(dǎo)入Hadoop集群。其中DataExchange非實時全量同步數(shù)據(jù)庫數(shù)據(jù)，DBSync實時同步數(shù)據(jù)庫增量數(shù)據(jù)，TimeTunnel實時同步日志和爬蟲數(shù)據(jù)。數(shù)據(jù)全部寫入HDFS。在Hadoop中的計算任務(wù)會通過天網(wǎng)調(diào)度系統(tǒng)，根據(jù)集群資源和作業(yè)優(yōu)先級，調(diào)度作業(yè)的提交和執(zhí)行。計算結(jié)果寫入HDFS，再經(jīng)過DataExchange同步到MySQL和Oracle數(shù)據(jù)庫。處于平臺下方的數(shù)據(jù)魔方、推薦系統(tǒng)等從數(shù)據(jù)庫中讀取數(shù)據(jù)，就可以實時響應(yīng)用戶的操作請求。淘寶大數(shù)據(jù)平臺的核心是位于架構(gòu)圖左側(cè)的天網(wǎng)調(diào)度系統(tǒng)，提交到Hadoop集群上的任務(wù)需要按序、按優(yōu)先級調(diào)度執(zhí)行，Hadoop集群上已經(jīng)定義好的任務(wù)也需要調(diào)度執(zhí)行，何時從數(shù)據(jù)庫、日志、爬蟲系統(tǒng)導(dǎo)入數(shù)據(jù)也需要調(diào)度執(zhí)行，何時將Hadoop執(zhí)行結(jié)果導(dǎo)出到應(yīng)用系統(tǒng)的數(shù)據(jù)庫，仍然需要調(diào)度執(zhí)行。可以說，整個大數(shù)據(jù)平臺都是在天網(wǎng)調(diào)度系統(tǒng)的統(tǒng)一規(guī)劃和安排下運作的，如圖5.8所示。
DBSync、TimeTunnel、DataExchange這些數(shù)據(jù)同步組件也是淘寶內(nèi)部開發(fā)的，可以針對不同的數(shù)據(jù)源和同步需求導(dǎo)入、導(dǎo)出數(shù)據(jù)。這些組件淘寶大多已經(jīng)開源，我們可以參考使用。美團大數(shù)據(jù)平臺美團大數(shù)據(jù)平臺的數(shù)據(jù)源來自MySQL數(shù)據(jù)庫和日志，數(shù)據(jù)庫通過Canal獲得MySQL的binlog，輸出給消息隊列Kafka，日志通過Flume輸出到Kafka，如圖5.9所示。
Kafka的數(shù)據(jù)會被流式計算和批處理計算兩個引擎分別消費。流處理使用Storm進(jìn)行計算，結(jié)果輸出到HBase或者數(shù)據(jù)庫。批處理計算使用Hive進(jìn)行分析計算，結(jié)果輸出到查詢系統(tǒng)和BI（商業(yè)智能）平臺。
數(shù)據(jù)分析師可以通過BI產(chǎn)品平臺進(jìn)行交互式的數(shù)據(jù)查詢訪問，也可以通過可視化的報表工具查看已經(jīng)處理好的常用分析指標(biāo)；公司高管也可以通過平臺上的天機系統(tǒng)查看公司主要業(yè)務(wù)指標(biāo)和報表。美團大數(shù)據(jù)平臺的整個過程管理通過調(diào)度平臺進(jìn)行管理。公司內(nèi)部開發(fā)者使用數(shù)據(jù)開發(fā)平臺訪問大數(shù)據(jù)平臺，進(jìn)行ETL（數(shù)據(jù)提取、轉(zhuǎn)換、裝載）開發(fā)，提交任務(wù)作業(yè)并進(jìn)行數(shù)據(jù)管理。滴滴大數(shù)據(jù)平臺滴滴大數(shù)據(jù)平臺分為實時計算平臺（流式計算平臺）和離線計算平臺（批處理計算平臺）兩個部分。實時計算平臺架構(gòu)如圖5.10所示。數(shù)據(jù)采集以后輸出到Kafka消息隊列，消費通道有兩個，一個是數(shù)據(jù)ETL，使用Spark Streaming或者Flink將數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、處理后記錄到HDFS中，供后續(xù)批處理計算；另一個通道是Druid，計算實時監(jiān)控指標(biāo)，將結(jié)果輸出到報警系統(tǒng)和實時圖表系統(tǒng)DashBoard，如圖5.10所示。
離線計算平臺架構(gòu)如圖5.11所示。滴滴的離線大數(shù)據(jù)平臺是基于Hadoop?2（HDFS、Yarn、MapReduce）和Spark以及Hive構(gòu)建的，并在此基礎(chǔ)上開發(fā)了自己的調(diào)度系統(tǒng)和開發(fā)系統(tǒng)。調(diào)度系統(tǒng)和前面其他系統(tǒng)一樣，調(diào)度大數(shù)據(jù)作業(yè)的優(yōu)先級和執(zhí)行順序。開發(fā)平臺是一個可視化的SQL編輯器，可以方便地查詢表結(jié)構(gòu)、開發(fā)SQL，并發(fā)布到大數(shù)據(jù)集群上。此外，滴滴還重度使用HBase，并對相關(guān)產(chǎn)品（HBase、Phoenix）做了一些自定義的開發(fā)，維護(hù)著一個和實時、離線兩個大數(shù)據(jù)平臺同級別的HBase平臺，它的架構(gòu)圖參見圖5.12。來自實時計算平臺和離線計算平臺的計算結(jié)果被保存到HBase中，然后應(yīng)用程序通過Phoenix訪問HBase。而Phoenix是一個構(gòu)建在HBase上的SQL引擎，可以通過SQL方式訪問HBase上的數(shù)據(jù)。學(xué)架構(gòu)就是學(xué)架構(gòu)模式
可以看到，這些知名大廠的大數(shù)據(jù)平臺真的是大同小異，雖然由于各自場景和技術(shù)棧的不同，在大數(shù)據(jù)產(chǎn)品選型和架構(gòu)細(xì)節(jié)上略有差異，但整體思路基本上都是一樣的。不過也正是這種大同小異，讓我們能從各個角度了解大數(shù)據(jù)平臺架構(gòu)，對大數(shù)據(jù)平臺架構(gòu)有更深刻的認(rèn)知。我在阿里巴巴工作期間，有一陣子不斷參加各種基礎(chǔ)技術(shù)產(chǎn)品的架構(gòu)評審會。有一次，另一個和我一樣經(jīng)常參加這類會議的架構(gòu)師說：“我感覺這些產(chǎn)品的架構(gòu)怎么都一樣”。經(jīng)他一提醒，大家紛紛點頭稱是，好像確實如此。同一類問題的解決方案通常是相似的。一個解決方案可以解決重復(fù)出現(xiàn)的同類問題，這種解決方案就稱為模式。模式幾乎無處不在，一旦一個解決方案被證明是行之有效的，就會被重復(fù)使用解決同類的問題。所以我們看到，很多大數(shù)據(jù)產(chǎn)品的架構(gòu)也都差不多，比如Hadoop 1、Yarn、Spark、Flink、Storm，這些產(chǎn)品的架構(gòu)部署真的是太像了。對于有志于成為架構(gòu)師的工程師來說，一方面當(dāng)然要提高自己的編程水平，另一方面也可以多看看各種架構(gòu)設(shè)計文檔，多參加一些架構(gòu)師技術(shù)大會。在我看來，編程需要天分；而架構(gòu)設(shè)計，真的是熟能生巧。今天聯(lián)合「電子工業(yè)博文視點出版社」給大家?guī)?/span>3本《大數(shù)據(jù)技術(shù)架構(gòu)：核心原理與應(yīng)用實踐》技術(shù)書籍福利，免費送給大家！感謝博文視點的大力贊助與支持！
抽獎規(guī)則：1、添加小編微信的前3名好友直接中獎！2、掃以下二維碼回復(fù)“好書”即可獲得小編的微信
關(guān)于作者：李智慧，同程旅行交通首席架構(gòu)師。曾任阿里巴巴、Intel架構(gòu)師，長期從事分布式系統(tǒng)與大數(shù)據(jù)開發(fā)，Apache Spark 代碼貢獻(xiàn)者，騰訊云 TVP，著有暢銷書《大型網(wǎng)站技術(shù)架構(gòu)：核心原理與案例分析》。?本文節(jié)選自《大數(shù)據(jù)技術(shù)架構(gòu)：核心原理與應(yīng)用實踐》(博文視點出品)，經(jīng)出版方授權(quán)發(fā)布。未來的生活一定是數(shù)字化的生活，掌握一些大數(shù)據(jù)技術(shù)總是好事。但本質(zhì)上它也只是一個工具，人生的旅程，既要緊跟時代，也要謹(jǐn)防隨波逐流。相信各位讀者能以《大數(shù)據(jù)技術(shù)架構(gòu)：核心原理與應(yīng)用實踐》一書的內(nèi)容為起點而非終點，繼續(xù)探索，走出自己的光明大道。
▼點擊閱讀原文，即可購買此書
下載文檔
