大數(shù)據(jù)(big data)，IT行業(yè)術(shù)語，是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。隨著信息技術(shù)日益發(fā)達，大數(shù)據(jù)在未來的世界的用途和復(fù)雜程度將繼續(xù)增加。我們在享受大數(shù)據(jù)的便利時，也需要將它帶來的挑戰(zhàn)化為機遇。從精算流程到業(yè)績分析，大數(shù)據(jù)正在改變各行各業(yè)的方方面面。那么大數(shù)據(jù)究竟是什么意思?它又如何影響著現(xiàn)代社會的發(fā)展?本文介紹了大數(shù)據(jù)的定義、大數(shù)據(jù)的發(fā)展趨勢、大數(shù)據(jù)在金融行業(yè)的應(yīng)用以及它面臨的挑戰(zhàn)。

大數(shù)據(jù)指的是利用我們積累的大量數(shù)據(jù)來理解某些趨勢和現(xiàn)象，并設(shè)計出一個系統(tǒng)來充分利用這些趨勢和現(xiàn)象。大數(shù)據(jù)之所以發(fā)展迅速，得益于以下三點：

我們將行為習(xí)慣和生活記錄不斷以數(shù)據(jù)的方式存儲下來，增加了數(shù)據(jù)的體量。隨著信息技術(shù)的發(fā)展，人們的一言一行都以數(shù)字化的方式記錄下來，這些記錄是數(shù)據(jù)分析的核心;數(shù)據(jù)分析手段不斷更新，讓大數(shù)據(jù)分析方法變得越來越成熟。除了原有的程序化算法外，人工智能的發(fā)展使得計算機能夠根據(jù)規(guī)則自動學(xué)習(xí)新的算法，提高了數(shù)據(jù)處理的水平;隨著時間推移，存儲海量數(shù)據(jù)變得更加便宜，為數(shù)據(jù)分析提供基礎(chǔ)條件。云存儲技術(shù)的不斷提升，降低了企業(yè)儲存數(shù)據(jù)的成本，方便了數(shù)據(jù)管理。

大數(shù)據(jù)行業(yè)的發(fā)展趨勢

未來的大數(shù)據(jù)行業(yè)發(fā)展趨勢可以歸納為以下五點：

大多數(shù)公司的決策開始轉(zhuǎn)向數(shù)據(jù)驅(qū)動。來自德勤的調(diào)查顯示，70%的行業(yè)公司認為數(shù)據(jù)分析對滿足它們的業(yè)務(wù)需求至關(guān)重要。圍繞大數(shù)據(jù)分析的新興趨勢，將成為公司戰(zhàn)略制定的核心，并優(yōu)化公司結(jié)構(gòu)，提高收入;大數(shù)據(jù)從業(yè)人員收入豐厚，但是漲幅趨于平穩(wěn)。雖然大數(shù)據(jù)從業(yè)人員被列為十大最賺錢行業(yè)，但是新的跡象表明，這一職業(yè)的薪水正趨于平穩(wěn)。這可能是因為數(shù)據(jù)分析領(lǐng)域正在變得標(biāo)準化和專業(yè)化。盡管如此，來自美國的調(diào)查顯示，大數(shù)據(jù)從業(yè)人員的年收入中位數(shù)為95000美元，因此它仍舊是收入最高、滿意度最高的工作之一;

除了數(shù)據(jù)分析人員外，行業(yè)的決策者和專家越來越重要。來自麻省理工學(xué)院的新優(yōu)勢合作伙伴調(diào)查顯示，97%的科技公司正在投資大數(shù)據(jù)，但是約一半的分析從未投入公司業(yè)務(wù)?，F(xiàn)在的大數(shù)據(jù)分析開始由試驗階段進入部署實施階段了。為了在數(shù)據(jù)分析中保持專業(yè)能力，大數(shù)據(jù)行業(yè)需要尋找那些能夠解釋這些數(shù)據(jù)，提出解決方案的專家，讓他們?yōu)閿?shù)據(jù)賦予新的價值，并提供更加深入的見解;

大數(shù)據(jù)分析軟件逐漸多元化，不過Python仍占據(jù)主流地位。調(diào)查顯示大數(shù)據(jù)分析人員的常用軟件有Python、R、Hadoop、SQL、Spark等等，但是目前應(yīng)用最多的仍是Python，因此如果你想對這個行業(yè)進一步了解的話，可以從這些軟件入手學(xué)習(xí);監(jiān)管部門呼吁大數(shù)據(jù)行業(yè)“明智地使用數(shù)據(jù)”。隨著各國開始圍繞數(shù)據(jù)保護制定監(jiān)管框架，例如歐盟的《通用數(shù)據(jù)保護條例》，大數(shù)據(jù)行業(yè)不僅需要了解數(shù)據(jù)治理方面的進展，還需要為企業(yè)解釋數(shù)據(jù)行業(yè)的相關(guān)規(guī)則;

大數(shù)據(jù)行業(yè)面臨的挑戰(zhàn)

一些人最關(guān)心的是隱私問題，雖然大數(shù)據(jù)收集的都是關(guān)于市場或者個人的純粹數(shù)字信息，但是在一些情況下，個人信息也會被收集、分析并應(yīng)用于現(xiàn)實世界，而這種信息采集很多時候是在沒有征集用戶的同意下發(fā)生的。

另外，數(shù)據(jù)分析只適用于描述當(dāng)時的特征，現(xiàn)代世界千變?nèi)f化，如果數(shù)據(jù)背后的規(guī)律發(fā)生了改變，而分析人員沒有進行調(diào)整的話，使用正確的數(shù)據(jù)和錯誤的分析方法，將會得到錯誤的結(jié)論。正是因此，在大數(shù)據(jù)分析的過程中仍舊需要人參與其中，不論是提供心理上的保證，還是抓住計算機程序可能犯下的錯誤。

2018年擔(dān)任谷歌首席決策科學(xué)家的Cassie認為，大數(shù)據(jù)將行為科學(xué)與人類決策結(jié)合在一起，它并不是科幻小說中的想象，而是人類使用的新工具。大數(shù)據(jù)不僅是一門分析學(xué)科，更是智能的決策學(xué)科，它不僅能預(yù)測未來，還能幫助企業(yè)實現(xiàn)未來。

大數(shù)據(jù)在金融業(yè)的發(fā)展

21世紀是信息技術(shù)時代，大量數(shù)據(jù)的快速積累改變了無數(shù)行業(yè)的面貌，其中受影響最深遠的行業(yè)就是金融業(yè)。隨著大數(shù)據(jù)的崛起，金融業(yè)經(jīng)歷了巨大變化。根據(jù)數(shù)據(jù)統(tǒng)計，目前全球大數(shù)據(jù)的總市場價值約1300億美元，金融業(yè)對大數(shù)據(jù)的需求占到總量的13.1%，也就是170億美元。此外，一些從事金融業(yè)務(wù)的其他行業(yè)也在利用大數(shù)據(jù)，它們大概占到大數(shù)據(jù)技術(shù)消費的20%以上。由于發(fā)展勢頭迅猛，從投資銀行到經(jīng)紀公司，金融行業(yè)正在充分利用大數(shù)據(jù)來最大化客戶價值，以便它們在業(yè)務(wù)中保持競爭優(yōu)勢。

金融業(yè)在很大程度上依賴數(shù)據(jù)分析來預(yù)測下一個市場趨勢，因此數(shù)據(jù)分析的準確性至關(guān)重要。如果在分析中出現(xiàn)錯誤，會導(dǎo)致資金錯誤地被分配到金融市場，損害金融機構(gòu)的聲譽。因此，金融業(yè)已經(jīng)開始創(chuàng)新地應(yīng)用大數(shù)據(jù)技術(shù)。

算法交易就是金融業(yè)和大數(shù)據(jù)技術(shù)結(jié)合的產(chǎn)物，算法給出一組初始條件和程序運行指南，風(fēng)險接受程度、資產(chǎn)類別限制都依據(jù)資金所有者的偏好初始設(shè)定在算法中。這些算法在運行之后，會根據(jù)其設(shè)定好的原則運行，并盡可能地獲取歷史數(shù)據(jù)與相關(guān)信息。有了這些信息，算法會在分析系統(tǒng)中搜索那些重復(fù)的模式或者趨勢，并和現(xiàn)在的市場條件進行對比。如果找到了相似的模式，算法就會將其識別出來，并將歷史操作應(yīng)用于當(dāng)前的投資情況。