無論是為促銷產(chǎn)品還是作為戰(zhàn)略目標(biāo)，大數(shù)據(jù)已然成為很多公司和機構(gòu)過度使用的術(shù)語。筆者認(rèn)為，數(shù)據(jù)基本就是兩類，一類是人類軌跡產(chǎn)生的數(shù)據(jù)，另一類機器自動產(chǎn)生的數(shù)據(jù)。這兩類數(shù)據(jù)構(gòu)成了我們今天的大數(shù)據(jù)多結(jié)構(gòu)化數(shù)據(jù)源。大數(shù)據(jù)不僅要關(guān)注實際數(shù)據(jù)量的多少，而最重要的是關(guān)注在大數(shù)據(jù)的處理方法，讓數(shù)據(jù)產(chǎn)生巨大的創(chuàng)新價值。這也就是為何以谷歌為代表的技術(shù)創(chuàng)新類的公司會在未來成為全球市值最高的公司的核心原因之一。

實現(xiàn)工業(yè)4.0或中國制造2025的前提之一是構(gòu)建智能工廠，其核心要素包括了信息物理系統(tǒng)(CPS)，物聯(lián)網(wǎng)(IOT)，智能認(rèn)知，社交媒體，云計算與移動，以及M2M。 智能工廠構(gòu)成了工業(yè)4.0的一個關(guān)鍵特征。智能工廠將從現(xiàn)在通過中央控制中的模式轉(zhuǎn)向通過自行優(yōu)化和控制其制造流程來實現(xiàn)。

柔性生產(chǎn)的三個方面

1. 人、機器和資源如同在一個社交網(wǎng)絡(luò)里自然地相互溝通協(xié)作。

2. 生產(chǎn)出來的智能產(chǎn)品能夠理解自己被制造的細(xì)節(jié)以及將如何用。它們積極協(xié)助生產(chǎn)過程，回答諸如“我是什么時候被制造的”“哪組參數(shù)應(yīng)被用來處理我”“我應(yīng)該被傳送到哪”等等問題。

3. 機器和產(chǎn)品之間的數(shù)據(jù)傳輸將通過使用微處理器、存儲裝置、傳感器和發(fā)送器來實現(xiàn)。這些裝置將被嵌入至幾乎所有可想象的機器、待加工產(chǎn)品、材料、智能工具和用于組織數(shù)據(jù)流的新型軟件，由此實現(xiàn)產(chǎn)品和機器的相互通信并和交換數(shù)據(jù)。

大數(shù)據(jù)在智能工業(yè)的特征

——數(shù)據(jù)的處理方法比數(shù)據(jù)本身值錢

無論是為促銷產(chǎn)品還是作為戰(zhàn)略目標(biāo)的方式，大數(shù)據(jù)已然成為很多公司和機構(gòu)過度使用的術(shù)語。2012年高德納(Gartner)給出德大數(shù)據(jù)定義里面，特別強調(diào)大數(shù)據(jù)是多樣化信息資產(chǎn)，不僅關(guān)注實際數(shù)據(jù)，而最最重要的是關(guān)注大數(shù)據(jù)處理方法。數(shù)據(jù)量大還是量小本身并不是判斷大數(shù)據(jù)價值的核心指標(biāo)，而數(shù)據(jù)的實時性(velocity)和多元性(variety)應(yīng)該對大數(shù)據(jù)的定義和價值更具直接的影響。

——大數(shù)據(jù)是多結(jié)構(gòu)化數(shù)據(jù)：包含人類和機器數(shù)據(jù)

我們大多數(shù)人會認(rèn)為大數(shù)據(jù)包含了非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)。我更提倡大數(shù)據(jù)是“多結(jié)構(gòu)化數(shù)據(jù)”的說法，無論是自由文本還是關(guān)系數(shù)據(jù)庫等，大數(shù)據(jù)可以由人類產(chǎn)生的數(shù)據(jù)足跡與機器自動生產(chǎn)的數(shù)據(jù)兩大板塊形成。大數(shù)據(jù)的工具和技術(shù)能夠為不同的結(jié)構(gòu)化數(shù)據(jù)服務(wù)。在信息化與工業(yè)化融合的過程與商業(yè)活動中，我們需要加強機器數(shù)據(jù)的采集，分析，并且把此項工作作為智能制造的核心工作之一。

——工業(yè)大數(shù)據(jù)的機器數(shù)據(jù)讓我們的業(yè)務(wù)變得透明

在現(xiàn)代工業(yè)供應(yīng)鏈中，隨著大數(shù)據(jù)應(yīng)用的普及，我們可以感受到了從采購，生產(chǎn)，物流與銷售市場都是大數(shù)據(jù)的戰(zhàn)場。大數(shù)據(jù)可以幫助我們實現(xiàn)客戶的分析和挖掘，它的應(yīng)用場景包括了實時核心，交易，服務(wù)，后臺服務(wù)等。通過的載體包括了手機，傳感器，穿戴設(shè)備，3D打印機和平板電腦等。傳感器數(shù)據(jù)屬于工業(yè)大數(shù)據(jù)類別之一，從這些機器數(shù)據(jù)中，我們可以保障生產(chǎn)，滿足法律法規(guī)的要求，提升環(huán)保，改善客戶服務(wù)。通過幫我們找到已經(jīng)發(fā)生的問題做好協(xié)助預(yù)測相類似問題未來重復(fù)發(fā)生的幾率與時間。

大數(shù)據(jù)的挑戰(zhàn)

1.用理性了解大數(shù)據(jù)

作為與工業(yè)4.0聯(lián)系最為緊密的兩化融合任務(wù)，中國制造2015其核心是生產(chǎn)過程、產(chǎn)品的智能化，以及互聯(lián)網(wǎng)與制造業(yè)的融。數(shù)據(jù)的靈活處理性成為第一個焦點。隨著傳統(tǒng)數(shù)據(jù)庫 (database)和數(shù)據(jù)倉庫(data warehouse)的運行越來越緩慢，并很難滿足企業(yè)業(yè)務(wù)的發(fā)展需要，數(shù)據(jù)的靈活性就成為了推動大數(shù)據(jù)技術(shù)發(fā)展的一個重要推動力。

2.從Hadoop走向數(shù)據(jù)湖

2015年的大數(shù)據(jù)領(lǐng)域被看作是“數(shù)據(jù)湖(data lake)”與“數(shù)據(jù)藻澤”的狀態(tài)之爭。無論學(xué)術(shù)杰如何去詮釋，其核心是強調(diào)一種基于對象的數(shù)據(jù)存儲方式將收集來的數(shù)據(jù)以其最原生的格式(多結(jié)構(gòu)化的)存儲下來留作日后使用。“數(shù)據(jù)湖”具有很高的價值定位，它代表了一種可擴展的基礎(chǔ)架構(gòu)，非常經(jīng)濟且超級靈活。

3.自主大數(shù)據(jù)數(shù)據(jù)服務(wù)成為主流

隨著大數(shù)據(jù)工具和服務(wù)的發(fā)展，2015年，IT行業(yè)將逐漸緩解發(fā)展瓶頸的局面，許多商業(yè)用戶和數(shù)據(jù)科學(xué)家將會借助相關(guān)工具和服務(wù)訪問大量數(shù)據(jù)。自助服務(wù)大數(shù)據(jù)將成為IT行業(yè)的一種趨勢，它允許商業(yè)用戶可以通過自助服務(wù)接觸大數(shù)據(jù)。自助服務(wù)還可以幫助開發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接進行數(shù)據(jù)探索和處理工作。當(dāng)我們了解大數(shù)據(jù)的時候，業(yè)務(wù)的價值和IT的成本是我們主要衡量未來IT的標(biāo)準(zhǔn)，業(yè)務(wù)價值驅(qū)動大數(shù)據(jù)創(chuàng)新。Hadoop 不再成為我們討論的大數(shù)據(jù)主題。我們需要了解更多的是業(yè)務(wù)創(chuàng)新，數(shù)據(jù)變現(xiàn)和業(yè)務(wù)場景的探索。

下一代的大數(shù)據(jù)體系-數(shù)據(jù)湖

每個數(shù)據(jù)項都應(yīng)有清楚的追蹤，可追溯其源系統(tǒng)以及該數(shù)據(jù)項產(chǎn)生的時間等信息。2010年JamesDixon以此理念，創(chuàng)造了數(shù)據(jù)湖(data Lake)這個術(shù)語，當(dāng)時他打算將數(shù)據(jù)湖泊作為單一數(shù)據(jù)源來使用，而多數(shù)據(jù)源將形成“水景園”。盡管還是最初的構(gòu)想，如今最普遍的應(yīng)用是將數(shù)據(jù)湖泊當(dāng)做許多數(shù)據(jù)源的結(jié)合?，F(xiàn)有數(shù)據(jù)倉庫在分析能力的缺失，業(yè)務(wù)對數(shù)據(jù)獲取能力的提升，高級分析方法的創(chuàng)新是一種必然。

數(shù)據(jù)湖泊是近十年出現(xiàn)的術(shù)語，用來描述數(shù)據(jù)世界中，數(shù)據(jù)分析管道的重要組成部分。作為一個信息系統(tǒng)，數(shù)據(jù)湖泊是大型的基于對象的存儲庫，數(shù)據(jù)以其原始格式存儲。通過全面的監(jiān)控和分析，通過數(shù)據(jù)的分析模型的建立，學(xué)習(xí)，模擬，行動，最終實現(xiàn)內(nèi)容認(rèn)知的智能。 有并行體系以及無需移動數(shù)據(jù)即可對數(shù)據(jù)進行計算操作的明顯特點。

特點1-數(shù)據(jù)湖泊是一個并行體系，能夠存儲大數(shù)據(jù)

數(shù)據(jù)湖泊的每個數(shù)據(jù)元素都有獨特的標(biāo)識符，并有一組擴展的元數(shù)據(jù)標(biāo)簽。

數(shù)據(jù)湖泊以數(shù)據(jù)源提供數(shù)據(jù)時的原格式(不論原格式是什么)存儲原始數(shù)據(jù)。沒有預(yù)設(shè)的數(shù)據(jù)模式，每個數(shù)據(jù)源都可以使用任何模式。由消費者根據(jù)自己的目的來理解數(shù)據(jù)。

特點2-數(shù)據(jù)湖體系無需移動數(shù)據(jù)即可對數(shù)據(jù)進行計算操作

通常數(shù)據(jù)倉庫一方面要清理，一方面還要聚合數(shù)據(jù)，從而使分析更加容易。但科學(xué)家往往也反對這點，因為聚合意味著丟棄數(shù)據(jù)。你不知道今天或者幾年以后哪些數(shù)據(jù)會有價值，所以數(shù)據(jù)湖泊應(yīng)包含所有數(shù)據(jù)。數(shù)據(jù)湖泊使用平坦架構(gòu)存儲數(shù)據(jù)。這個理念是建立一個單一存儲區(qū)，用來存儲組織內(nèi)任何人員可能需要分析的所有原始數(shù)據(jù)。通常人們使用Hadoop對湖泊內(nèi)的數(shù)據(jù)進行各種操作，但這個概念比Hadoop要寬泛的多。

總結(jié)

大數(shù)據(jù)技術(shù)自身在快速的發(fā)展，從1.0到大數(shù)據(jù)3.0的數(shù)據(jù)湖時代，我們要理性的看待大數(shù)據(jù)，在關(guān)注數(shù)據(jù)量的同時，應(yīng)該更加重視數(shù)據(jù)分析的能力和方法。筆者認(rèn)為，實用分析工具與先進分析理念，真正釋放數(shù)字化分析的力量，由人類軌跡產(chǎn)生的數(shù)據(jù)，與機器自動產(chǎn)生的數(shù)據(jù)得出洞見，從管理決策推導(dǎo)運營方案，最終實現(xiàn)數(shù)據(jù)價值提升。

業(yè)界有很多大數(shù)據(jù)的技術(shù)公司提供不同的技術(shù)，其中也包含了一大堆的開源軟件開發(fā)出來的。大數(shù)據(jù)的成長路徑一定是個長期成長過程。在不同的階段，來打造不同的IT能力，我們倡導(dǎo)的是開放式大數(shù)據(jù)架構(gòu)。不僅僅為大的數(shù)據(jù)集服務(wù)，同時企業(yè)中業(yè)務(wù)人員有很多小數(shù)據(jù)集的分析和探索。在很好滿足業(yè)務(wù)的不同需求下，大數(shù)據(jù)一定是一種混搭技術(shù)，利用現(xiàn)有的IT投資來達到整個回報的最大化。特別在中國智能制造2025的變革中，數(shù)據(jù)湖不會是數(shù)據(jù)倉庫和BI平臺的終結(jié)者，但數(shù)據(jù)湖一定是未來企業(yè)數(shù)據(jù)技術(shù)(DT)的核心紐帶，成為引導(dǎo)中國制造2025變革的數(shù)字寵兒。