日韩aV网站观看,亚洲在线免费在线在线,精品伊人久久亚洲色婷婷

[導讀]導讀：大數(shù)據(jù)架構在金融場景下面臨著諸多挑戰(zhàn)，從架構上而言，業(yè)務對數(shù)據(jù)加工、存儲和使用的全鏈路服務提出了更細致的管控需求；從使用上而言，用戶并不想理解大數(shù)據(jù)架構的具體實現(xiàn)和管控的細節(jié)，用戶只想以更低的門檻、更快的方式來使用產品；從管理上而言，公司希望能夠對數(shù)據(jù)加工、處理過程中的相關...

導讀：大數(shù)據(jù)架構在金融場景下面臨著諸多挑戰(zhàn)，從架構上而言，業(yè)務對數(shù)據(jù)加工、存儲和使用的全鏈路服務提出了更細致的管控需求；從使用上而言，用戶并不想理解大數(shù)據(jù)架構的具體實現(xiàn)和管控的細節(jié)，用戶只想以更低的門檻、更快的方式來使用產品；從管理上而言，公司希望能夠對數(shù)據(jù)加工、處理過程中的相關經(jīng)驗做到有效傳承。

本文主要針對上述問題分享對應的解決方案，分別是：①?基于百度云產品的大數(shù)據(jù)架構——MMR，管控需求；②?度小滿數(shù)據(jù)湖管理與分析平臺——鴻鵠，降門檻；③?度小滿模型訓練監(jiān)控評估體系——易創(chuàng)，經(jīng)驗傳承。

01大數(shù)據(jù)云化架構——MMR度小滿大數(shù)據(jù)云化架構是建立在百度云大數(shù)據(jù)產品基礎之上的，百度云標準的大數(shù)據(jù)產品解決方案與開源的大數(shù)據(jù)解決方案類似。首先是通過用戶提交任務，進入到計算層，承接計算需求。再到存儲層，承接數(shù)據(jù)的存儲需求。為了滿足更細致的管控需求，我們對架構進行了一次延展。

我們將架構分為以下幾個部分：接入層、表控層、計算層、虛擬存儲層、物理存儲層。

1. 用戶層

在用戶層主要實現(xiàn)的是對從用戶操作到人的管控。具體實現(xiàn)方式主要是：我們會在用戶的大數(shù)據(jù)的入口進行改造，打通度小滿的員工管理系統(tǒng)，大數(shù)據(jù)服務的用戶在登陸作業(yè)機時會標注自己的身份，在提交操作和命令時，可以從架構上識別出個人的身份，這樣一來，在提交命令或者是操作時是帶著個人身份操作，所有任務和用戶操作都可以定位到具體的責任人。

2. 表控制管理層

針對表控制管理層，滿足了結構化數(shù)據(jù)部分共享的業(yè)務需求，即大數(shù)據(jù)存儲數(shù)據(jù)是以Hive表為基礎，Hive表里可能有一百、幾百或上千個字段，不同的字段有不同的密級要求。例如，在100個字段里，只有20個字段是希望共享的，其余80個是不希望共享的，這種情況就需要對表進行字段級的權限控制?；诖耍覀儗⒃谕鈱咏⒂嗅槍π缘臋嘞蘅刂浦行模脩艨梢栽谄脚_上對表進行字段級別的密級標注以及共享和申請使用的權限設置。通過這種方式，用戶提交任務到Hive Server或Spark Server時，服務層會有一段邏輯來校驗用戶提交的任務或者操作需要字段是否同時擁有該字段的權限，以此來決定是否放行實現(xiàn)字段級別的權限控制。

3. 計算層

在計算層主要是對資源的控制，主要是依賴百度云基礎架構的能力。在計算層和存儲層，度小滿架設了虛擬管理層，虛擬管理層主要解決了非結構化數(shù)據(jù)的共享需求和隔離需求。一般而言，每個業(yè)務的細分方向具有私密性，但每個業(yè)務的數(shù)據(jù)加工團隊，都有上游和下游，都會面臨數(shù)據(jù)的部分分享和使用的需求。針對這類情況，我們對目錄層面進行權限管控。在目錄權限控制的基礎上，同時約定使用方訪問的IP、IP段可以做到更細微的管控。在保證業(yè)務隔離的基礎上實現(xiàn)一定程度的數(shù)據(jù)共享，從而保障所有數(shù)據(jù)的操作、使用都是可控的，所有的過程都是可審計的。

在此基礎上，我們還面臨著一個更大的問題——業(yè)務是從百度架構過度到當前的百度云開源的數(shù)據(jù)架構，類似于從閉源的大數(shù)據(jù)架構到開源的大數(shù)據(jù)架構。雖然計算邏輯或是計算方式上大致是相同的，但是在很多細節(jié)上比如入口設計、使用習慣和功能體驗是不一致的。為了解決差異：

首先，要統(tǒng)一用戶的使用習慣，把用戶所有訪問大數(shù)據(jù)服務使用的工具組裝成統(tǒng)一的Client，在統(tǒng)一client對差異進行自動的抹平。用戶在由百度架構到百度云架構到遷移的過程的工作主要是修改配置、驗證結果，不會涉及到代碼層面的修改。
其次，虛擬存儲層的建設、實現(xiàn)存儲層的兼容，以文件系統(tǒng)的使用方式和使用習慣去訪問對象存儲，在用戶層面看來功能和體驗是一致的。

智能調度