基于Hadoop的卡口，百度路況等海量數(shù)據(jù)分析研判平臺研究設計

摘要:利用卡口數(shù)據(jù)、百度路況數(shù)據(jù)等海量交管數(shù)據(jù),基于Hadoop中間件平臺對海量數(shù)據(jù)分析研判平臺進行了研究與設計。針對卡口數(shù)據(jù)、百度路況數(shù)據(jù)等海量數(shù)據(jù)特點,結合基于Hadoop平臺的數(shù)據(jù)挖掘技術,解決了異構數(shù)據(jù)實時存儲分析、復雜網(wǎng)絡環(huán)境下數(shù)據(jù)丟失、重復等問題,實現(xiàn)了中間件平臺的設計及海量數(shù)據(jù)分析研判平臺總體框架設計,有效提高了大粒度、長周期數(shù)據(jù)的深度挖掘能力和數(shù)據(jù)處理存儲效率,滿足對數(shù)據(jù)深度挖掘、數(shù)據(jù)碰撞和應用的需求。