在這篇文章中，小編將對大數(shù)據(jù)的相關(guān)內(nèi)容和情況加以介紹以幫助大家增進對它的了解程度，和小編一起來閱讀以下內(nèi)容吧。

一、大數(shù)據(jù)常用術(shù)語

1.ETL

ETL 指的是提取，轉(zhuǎn)換和加載。具體指的是“提取”原始數(shù)據(jù)的過程，通過清理、豐富數(shù)據(jù)將其“轉(zhuǎn)換”成適合使用的，并“加載”到適當?shù)拇鎯熘幸怨┫到y(tǒng)使用。雖然它源于數(shù)據(jù)倉庫，但ETL過程也被用來從大數(shù)據(jù)系統(tǒng)的外部資源中獲取和吸收數(shù)據(jù)。

2.Hadoop

當想到大數(shù)據(jù)時，人們立即會想到 Hadoop 。Hadoop(具有可愛的大象標志)是一個開源軟件框架，由所謂的 Hadoop 分布式文件系統(tǒng)(HDFS)組成，并允許使用分布式硬件對非常大的數(shù)據(jù)集進行存儲，檢索和分析。如果你真的想給別人留下深刻的印象，還可以談?wù)? YARN，顧名思義，這是一種資源調(diào)度程序。取名字的人真太有才了。Apache 基金會還推出了 Hadoop，Pig，Hive 以及 Spark(是的，這些都是各種軟件的名稱)。真是服了這些名字。

3.內(nèi)存計算(In-memory computing)

一般來說，任何可以在不訪問 I / O 的情況下完成的計算都是很快的。內(nèi)存計算是一種將工作數(shù)據(jù)集完全放在集群的集體內(nèi)存中，避免將中間計算寫入磁盤的技術(shù)。Apache Spark 是一個內(nèi)存計算系統(tǒng)，它在速度超過 I / O 綁定系統(tǒng)(如 Hadoop 的MapReduce)方面擁有巨大的優(yōu)勢。

4.物聯(lián)網(wǎng)(IoT)

最新的流行語是物聯(lián)網(wǎng)(IOT)。IOT 通過互聯(lián)網(wǎng)將嵌入式對象(傳感器，可穿戴設(shè)備，汽車，冰箱等)中的計算設(shè)備進行互連，并且能夠發(fā)送以及接收數(shù)據(jù)。IOT 生成大量數(shù)據(jù)，提供了大量大數(shù)據(jù)分析的機會。

5.機器學習(Machine learning)

機器學習是指通過提供的數(shù)據(jù)，使系統(tǒng)能夠?qū)W習，調(diào)整和改進。通過預測和統(tǒng)計算法，他們不斷學習“正確”的行為和洞察力，隨著更多的數(shù)據(jù)流通過該系統(tǒng)，得以不斷地改進。

6.MapReduce

MapReduce 可能會有點難懂。MapReduce 是一個編程模型，為了更好的理解，需注意 Map 和 Reduce 其實是兩個獨立的部分。在這種情況下，編程模型首先將大數(shù)據(jù)數(shù)據(jù)集分解成多個部分(在技術(shù)術(shù)語中稱為“元組”)，因此可以分布在不同位置的不同計算機上(即前面所述的集群計算)，這基本上就是 Map 部分。然后，該模型收集結(jié)果并將其“減少”為一個報告。MapReduce 的數(shù)據(jù)處理模式與Hadoop 的分布式文件系統(tǒng)緊密相關(guān)。

二、如何處理大數(shù)據(jù)中的冷數(shù)據(jù)

1、使用便宜但可靠的冷存儲

對于很少使用或存檔的數(shù)據(jù)，慢速硬盤驅(qū)動器和磁帶是最常用的存儲介質(zhì)。重要的是定期測試磁盤和磁帶，以確保它們工作正常。另外，要避免將舊的驅(qū)動器和磁帶降級為歸檔和數(shù)據(jù)備份功能——這些資源仍然有使用壽命，如果它們太舊，則更有可能出現(xiàn)故障。

2.考慮基于云的冷存儲

如果您不想在現(xiàn)場或物理外部設(shè)施中存儲大數(shù)據(jù)，則可以選擇使用云?；谠频睦浯鎯τ泻芏噙x擇，您可能會找到一種存儲所有冷數(shù)據(jù)最合適的選擇。

3.對冷數(shù)據(jù)進行年度評估

即使您已經(jīng)有存儲冷數(shù)據(jù)的方法，也并不意味著您應該存儲所有數(shù)據(jù)。如果您還沒有，您可以與管理層和法律部門商議確定應該保留哪些數(shù)據(jù)、丟棄哪些數(shù)據(jù)，每年評估一次即可。

4. 使用數(shù)據(jù)/存儲自動化

大多數(shù)存儲提供商提供分層的數(shù)據(jù)存儲，這種存儲是通過人工智能實現(xiàn)的。人工智能會采用您定義的存儲數(shù)據(jù)的規(guī)則，并自動應用它們來確定數(shù)據(jù)的存儲位置。

數(shù)據(jù)存儲的主要層是內(nèi)存存儲或固態(tài)驅(qū)動器，您經(jīng)常訪問的數(shù)據(jù)存儲就在其中。不常訪問的數(shù)據(jù)可以存儲在更便宜的硬盤存儲的二級數(shù)據(jù)層上。

很少使用的數(shù)據(jù)或冷數(shù)據(jù)將被分配給速度較慢的磁盤驅(qū)動器或磁帶，這些磁盤或磁帶是您最便宜的存儲介質(zhì)。通過利用這種自動化，您可以確保經(jīng)常以最低的成本存儲冷數(shù)據(jù)的同時，始終可以將大量熱數(shù)據(jù)提供給用戶。

最后，小編誠心感謝大家的閱讀。你們的每一次閱讀，對小編來說都是莫大的鼓勵和鼓舞。希望大家對大數(shù)據(jù)已經(jīng)具備了初步的認識，最后的最后，祝大家有個精彩的一天。