世界經(jīng)歷過工業(yè)革命，現(xiàn)在我們正處于數(shù)字革命的時代。機器學習、人工智能和大數(shù)據(jù)分析是當今世界的現(xiàn)實。

我最近有機會與Talend副總裁CiaranDynes以及Datalytyx主管JusTInMullen交談。Talend是一家軟件集成供應(yīng)商，主要為企業(yè)提供大數(shù)據(jù)解決方案，而Datalytyx是大型數(shù)據(jù)工程、數(shù)據(jù)分析和云解決方案業(yè)務(wù)的領(lǐng)先提供商，其提供的服務(wù)能夠讓企業(yè)運營更快、更有效、更有利潤。

大數(shù)據(jù)運營的演變

為了更深入地了解大數(shù)據(jù)運營的演變，我詢問了JusTInMullen五年前面臨的挑戰(zhàn)，以及他們?yōu)槭裁匆枨蟋F(xiàn)代化的集成平臺。他回應(yīng)道，“我們面臨著與客戶類似的挑戰(zhàn)。”在大數(shù)據(jù)分析之前，我們都面臨著類似的問題

他回應(yīng)道，“我們面臨著與客戶面臨的類似挑戰(zhàn)。”在大數(shù)據(jù)分析之前，這就是我所說的“數(shù)據(jù)分析困境”。在很大程度上，關(guān)于數(shù)據(jù)的分析主要是基本系統(tǒng)的手工聚合和數(shù)據(jù)處理。然后，我們可能面臨的最大挑戰(zhàn)是，在應(yīng)用不同的分析算法來分析原始數(shù)據(jù)并以有意義的方式可視化結(jié)果之前，如何對數(shù)據(jù)進行歸納和管理，從而捋順業(yè)務(wù)關(guān)系。”

他進一步補充說，“我們的客戶希望的不僅僅是進行一次分析，而且還希望在幾個月和幾年的時間里，不斷刷新KPI性能。”在手工數(shù)據(jù)工程實踐中，我們很難滿足客戶的要求，而這正是我們決定需要一個可靠、可靠的數(shù)據(jù)管理平臺來解決這些挑戰(zhàn)的時候。

數(shù)據(jù)科學的出現(xiàn)

大多數(shù)經(jīng)濟學家和社會科學家都對正在替代制造業(yè)和商業(yè)的自動化技術(shù)感到擔憂。如果數(shù)字化和自動化繼續(xù)以同樣的速度增長，機器有很大的可能取代人類。當今世界我們已經(jīng)看到了一些類似現(xiàn)象，但在未來這種情況會更加突出。

然而，Dynes說，“數(shù)據(jù)科學家正在為今天不同領(lǐng)域的復雜問題提供解決方案。”他們利用數(shù)據(jù)分析中的有用信息來理解和解決問題。數(shù)據(jù)科學是一種輸入，輸出則是自動化。機器自動化，但人類提供必要的輸入來獲得想要的輸出。

這就為人工以及機器服務(wù)的相關(guān)需求創(chuàng)造了一個平衡。自動化和數(shù)據(jù)科學都是并行的。一個過程中沒有另一個過程是不完整的。如果不能通過操控來產(chǎn)生有意義的結(jié)果，原始數(shù)據(jù)就沒有任何意義;同樣，如果沒有足夠的相關(guān)數(shù)據(jù)，機器學習就無法實現(xiàn)。

將大數(shù)據(jù)整合到商業(yè)模式中

Dynes說：“企業(yè)正在意識到數(shù)據(jù)的重要性，并將大數(shù)據(jù)和機器學習解決方案納入他們的商業(yè)模式。”他進一步補充道，“我們看到自動化正在發(fā)生。”這在電子商務(wù)和制造業(yè)領(lǐng)域很明顯，而在移動銀行和金融領(lǐng)域也有著巨大的應(yīng)用前景。”

當我問及他對于機器學習過程和平臺需求轉(zhuǎn)變的看法時，他補充說，“需求一直都存在。”數(shù)據(jù)分析一直至關(guān)重要。唯一的不同是，5年前，企業(yè)壟斷了數(shù)據(jù)，數(shù)據(jù)總是被秘密存儲起來。“誰擁有這些數(shù)據(jù)，誰就擁有權(quán)力，只有少數(shù)幾家知名的市場參與者能夠獲得數(shù)據(jù)。”

JusTIn曾與不同的公司合作過。其中一些知名客戶包括CalorGas,Jaeger以及Wejo。在談到這些公司在實施高級數(shù)據(jù)分析或機器學習之前所面臨的挑戰(zhàn)時，他說，“我的大多數(shù)客戶面臨的最大挑戰(zhàn)是在一處積累的關(guān)鍵數(shù)據(jù)，讓復雜的算法可以同時運行，從而顯現(xiàn)出更好的分析結(jié)果。”數(shù)據(jù)分析要有連續(xù)性，而不是一次性的，這至關(guān)重要。”

快速數(shù)字化的原因

Dynes說：“由于兩個主要原因，我們正在經(jīng)歷快速的數(shù)字化。”“在過去的幾年里，這種技術(shù)的發(fā)展速度呈指數(shù)級增長。其次，組織文化已經(jīng)發(fā)生了巨大的變化。”他補充說，“隨著開放源代碼技術(shù)和云平臺的出現(xiàn)，數(shù)據(jù)現(xiàn)在更容易獲齲”“現(xiàn)在越來越多的人獲得了信息，他們正在利用這些信息來獲取利益。”

除了技術(shù)方面的進步和發(fā)展，“進入職場的新一代也依賴于科技。”他們嚴重依賴科技來完成日常工作。他們對透明交流持更加開放的態(tài)度。因此，收集這代人的數(shù)據(jù)比較容易，因為他們已經(jīng)準備好討論自己的觀點和偏好。他們已經(jīng)準備好提問和回答不可能的問題了，”Dynes說。

當談到公司在選擇大數(shù)據(jù)分析解決方案時所面臨的挑戰(zhàn)時，Mullen補充道：“在使用機器學習的同時，行業(yè)目前面臨的挑戰(zhàn)是雙重的。他們面臨的第一個挑戰(zhàn)是數(shù)據(jù)收集、數(shù)據(jù)整理、數(shù)據(jù)管理（質(zhì)量）和數(shù)據(jù)聚合。第二個挑戰(zhàn)是，在數(shù)據(jù)工程、高級分析和機器學習方面，對抗人類技能的匱乏。

“你需要把新世界和舊世界融合在一起。”舊世界嚴重依賴大數(shù)據(jù)收集，而新世界則主要關(guān)注實時數(shù)據(jù)解決方案。

Dynes說：“你需要把新世界和舊世界融合起來。”舊世界嚴重依賴數(shù)據(jù)收集，而新世界主要關(guān)注數(shù)據(jù)解決方案。如今，在這個行業(yè)中，已經(jīng)有一些解決方案能夠同時滿足這兩個要求。

他的結(jié)論是，“數(shù)據(jù)工程的重要性是不可忽視的，機器學習就像潘多拉的盒子。”其在很多領(lǐng)域都有廣泛的應(yīng)用，一旦你打造了高質(zhì)量的服務(wù)，企業(yè)就會為你帶來更多業(yè)務(wù)。這是一件好事。