機(jī)器學(xué)習(xí)?zhǔn)?a href="/tags/人工智能" target="_blank">人工智能的一個(gè)分支，它使計(jì)算機(jī)系統(tǒng)能夠從數(shù)據(jù)中學(xué)習(xí)并改善性能。

機(jī)器學(xué)習(xí)的核心在于使用算法解析數(shù)據(jù)，從中學(xué)習(xí)，然后對(duì)新數(shù)據(jù)做出預(yù)測(cè)或決策，這個(gè)過(guò)程與人類(lèi)的學(xué)習(xí)過(guò)程相似，例如，人們通過(guò)獲取經(jīng)驗(yàn)來(lái)對(duì)新問(wèn)題進(jìn)行預(yù)測(cè)。機(jī)器學(xué)習(xí)算法通常建立在數(shù)學(xué)模型上，這些模型是基于一個(gè)包含多個(gè)樣本數(shù)據(jù)的訓(xùn)練集進(jìn)行訓(xùn)練的，算法通過(guò)這些數(shù)據(jù)學(xué)習(xí)到數(shù)據(jù)之間的隱藏模式，從而對(duì)新的、未知的數(shù)據(jù)進(jìn)行分類(lèi)或預(yù)測(cè)。機(jī)器學(xué)習(xí)領(lǐng)域涉及概率論、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等多門(mén)學(xué)科，并廣泛應(yīng)用于圖像識(shí)別、自然語(yǔ)言處理、推薦系統(tǒng)等多個(gè)領(lǐng)域。

機(jī)器學(xué)習(xí)是一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門(mén)學(xué)科。專(zhuān)門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能核心，是使計(jì)算機(jī)具有智能的根本途徑。

機(jī)器學(xué)習(xí)(ML)是計(jì)算機(jī)系統(tǒng)為了有效地執(zhí)行特定任務(wù)，不使用明確的指令，而依賴(lài)模式和推理使用的算法和統(tǒng)計(jì)模型的科學(xué)研究。它被視為人工智能的一個(gè)子集。機(jī)器學(xué)習(xí)算法構(gòu)建一個(gè)基于樣本數(shù)據(jù)的數(shù)學(xué)模型，稱(chēng)為“訓(xùn)練數(shù)據(jù)”，以便在沒(méi)有明確編程來(lái)執(zhí)行任務(wù)的情況下進(jìn)行預(yù)測(cè)或決策。[1][2]機(jī)器學(xué)習(xí)算法用于各種應(yīng)用，例如電子郵件過(guò)濾和計(jì)算機(jī)視覺(jué)，在這些應(yīng)用中，開(kāi)發(fā)用于執(zhí)行任務(wù)的特定指令的算法是不可行的。機(jī)器學(xué)習(xí)與計(jì)算統(tǒng)計(jì)學(xué)密切相關(guān)，計(jì)算統(tǒng)計(jì)學(xué)側(cè)重于使用計(jì)算機(jī)進(jìn)行預(yù)測(cè)。算法優(yōu)化的研究為機(jī)器學(xué)習(xí)領(lǐng)域提供了方法、理論和應(yīng)用領(lǐng)域。數(shù)據(jù)挖掘是機(jī)器學(xué)習(xí)中的一個(gè)研究領(lǐng)域，側(cè)重于探索性數(shù)據(jù)分析到無(wú)監(jiān)督學(xué)習(xí)。[3][4]在跨業(yè)務(wù)問(wèn)題的應(yīng)用中，機(jī)器學(xué)習(xí)也被稱(chēng)為預(yù)測(cè)分析。

機(jī)器學(xué)習(xí)這個(gè)名字由阿瑟·塞繆爾于1959年創(chuàng)造。[5]湯姆·米切爾(Tom m . Mitchell)為機(jī)器學(xué)習(xí)領(lǐng)域研究的算法提供了一個(gè)被廣泛引用的、更正式的定義:“一個(gè)計(jì)算機(jī)程序可以通過(guò)從經(jīng)驗(yàn)E中學(xué)習(xí)某些類(lèi)型的任務(wù)T和性能度量P，如果它在T中的性能(用P來(lái)衡量)能用經(jīng)驗(yàn)E來(lái)改進(jìn)。"[6]機(jī)器學(xué)習(xí)所涉及的任務(wù)的這個(gè)定義提供了一個(gè)基本的操作定義，而不是用認(rèn)知術(shù)語(yǔ)來(lái)定義這個(gè)領(lǐng)域。這遵循了艾倫·圖靈在他的論文“計(jì)算機(jī)器和智能”中的提議，其中的問(wèn)題是“機(jī)器能思考嗎?”被替換為“機(jī)器能做我們(作為思維實(shí)體)能做的事嗎?”[7]圖靈的提議，揭露出來(lái)思維機(jī)器 可能具有的特性和構(gòu)建一個(gè)模型的各種含義。

機(jī)器學(xué)習(xí)任務(wù)分為幾大類(lèi)。在監(jiān)督學(xué)習(xí)中，算法從包含輸入和期望輸出的一組數(shù)據(jù)中建立數(shù)學(xué)模型。例如，如果任務(wù)用于確定圖像是否包含某個(gè)對(duì)象，則監(jiān)督學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)將包括帶有和沒(méi)有該對(duì)象的圖像(輸入)，并且每個(gè)圖像將具有一個(gè)標(biāo)簽(輸出)，來(lái)指示其是否包含該對(duì)象。在特殊情況下，輸入可能僅部分可用，或者僅限于特殊反饋。半監(jiān)督學(xué)習(xí)算法根據(jù)不完整的訓(xùn)練數(shù)據(jù)開(kāi)發(fā)數(shù)學(xué)模型，其中一部分樣本輸入沒(méi)有標(biāo)簽。

分類(lèi)算法和回歸算法是監(jiān)督學(xué)習(xí)的類(lèi)型。當(dāng)輸出被限制在一組有限的值時(shí)，使用分類(lèi)算法。對(duì)于過(guò)濾電子郵件的分類(lèi)算法，輸入將是收到的電子郵件，輸出將是歸檔電子郵件的文件夾的名稱(chēng)。對(duì)于識(shí)別垃圾郵件的算法，輸出將是“垃圾郵件”或“非垃圾郵件”的預(yù)測(cè)值，其由布爾值true和false表示?；貧w算法是以它們的連續(xù)輸出命名的，這意味著它們可以具有范圍內(nèi)的任何值。連續(xù)值的例子是物體的溫度、長(zhǎng)度或價(jià)格。

在無(wú)監(jiān)督學(xué)習(xí)中，算法從一組只包含輸入而不包含所需輸出標(biāo)簽的數(shù)據(jù)中建立數(shù)學(xué)模型。無(wú)監(jiān)督學(xué)習(xí)算法用于尋找數(shù)據(jù)中的結(jié)構(gòu)，如數(shù)據(jù)點(diǎn)的分組或聚類(lèi)。無(wú)監(jiān)督學(xué)習(xí)可以發(fā)現(xiàn)數(shù)據(jù)中的模式，并可以將輸入按類(lèi)別分組，就像在特征學(xué)習(xí)中一樣。降維是減少一組數(shù)據(jù)中“特征”或輸入的過(guò)程。

主動(dòng)學(xué)習(xí)算法根據(jù)預(yù)算有限的一組輸入訪問(wèn)所需的輸出(訓(xùn)練標(biāo)簽)，并優(yōu)化為其獲取訓(xùn)練標(biāo)簽的輸入選擇。當(dāng)交互使用時(shí)，這些可以呈現(xiàn)給人類(lèi)用戶(hù)進(jìn)行標(biāo)記。強(qiáng)化學(xué)習(xí)算法在動(dòng)態(tài)環(huán)境中以正或負(fù)強(qiáng)化的形式給出反饋，并用于自動(dòng)車(chē)輛或?qū)W習(xí)與人類(lèi)對(duì)手玩游戲。[2]機(jī)器學(xué)習(xí)中的其他專(zhuān)門(mén)算法包括主題建模，其中計(jì)算機(jī)程序被賦予一組自然語(yǔ)言文檔，并找到涵蓋類(lèi)似主題的其他文檔。機(jī)器學(xué)習(xí)算法可用于在密度估計(jì)問(wèn)題中找到不可觀測(cè)的概率密度函數(shù)。元學(xué)習(xí)算法根據(jù)以前的經(jīng)驗(yàn)學(xué)習(xí)自己的歸納偏差。在發(fā)展機(jī)器人學(xué)中，機(jī)器人學(xué)習(xí)算法生成自己的學(xué)習(xí)體驗(yàn)序列，也稱(chēng)為課程，通過(guò)自我引導(dǎo)的探索和與人類(lèi)的社會(huì)互動(dòng)積累獲得新技能。這些機(jī)器人使用主動(dòng)學(xué)習(xí)、成熟、運(yùn)動(dòng)協(xié)同和模仿等引導(dǎo)機(jī)制。

2 歷史和與其他領(lǐng)域的關(guān)系編輯阿瑟·塞繆爾，計(jì)算機(jī)游戲和人工智能領(lǐng)域的美國(guó)先驅(qū)，1959年在IBM 中創(chuàng)造了術(shù)語(yǔ)“機(jī)器學(xué)習(xí)”[8]。作為一項(xiàng)科學(xué)事業(yè)，機(jī)器學(xué)習(xí)源于對(duì)人工智能的追求。早在人工智能作為一門(mén)學(xué)科的早期，一些研究人員就對(duì)讓機(jī)器從數(shù)據(jù)中學(xué)習(xí)感興趣。他們?cè)噲D用各種符號(hào)方法以及后來(lái)被稱(chēng)為“神經(jīng)網(wǎng)絡(luò)”的方法來(lái)解決這個(gè)問(wèn)題;這些模型主要是感知器，和后來(lái)被發(fā)現(xiàn)是統(tǒng)計(jì)學(xué)的廣義線性模型的重新發(fā)明的其他模型。[9]概率推理也被使用，特別是在自動(dòng)醫(yī)療診斷。[10]

然而，對(duì)邏輯的、基于知識(shí)的方法的日益強(qiáng)調(diào)導(dǎo)致了人工智能和機(jī)器學(xué)習(xí)之間的裂痕。概率系統(tǒng)受到數(shù)據(jù)獲取和表示的理論和實(shí)踐問(wèn)題的困擾。[10]到1980年，專(zhuān)家系統(tǒng)已經(jīng)主導(dǎo)了人工智能，統(tǒng)計(jì)數(shù)據(jù)不受歡迎。[11]符號(hào)/基于知識(shí)的學(xué)習(xí)的工作確實(shí)在人工智能中繼續(xù)進(jìn)行，導(dǎo)致了歸納邏輯編程，但是現(xiàn)在更多的統(tǒng)計(jì)研究在模式識(shí)別和信息檢索中，已經(jīng)超出了人工智能本身的范圍。[10]人工智能和計(jì)算機(jī)科學(xué)幾乎同時(shí)放棄了神經(jīng)網(wǎng)絡(luò)研究。來(lái)自其他學(xué)科的研究人員，包括霍普菲爾德、魯梅爾哈特和辛頓，也在人工智能/計(jì)算機(jī)科學(xué)領(lǐng)域之外延續(xù)了這一路線，稱(chēng)為“連接主義”。他們的主要成功是在20世紀(jì)80年代中期，重新發(fā)明了反向傳播。[10]

機(jī)器學(xué)習(xí)作為一個(gè)被重組的獨(dú)立的領(lǐng)域，在20世紀(jì)90年代開(kāi)始蓬勃發(fā)展。該領(lǐng)域?qū)⑵淠繕?biāo)從實(shí)現(xiàn)人工智能轉(zhuǎn)變?yōu)榻鉀Q實(shí)際問(wèn)題。它將注意力從人工智能繼承的符號(hào)方法轉(zhuǎn)移到從統(tǒng)計(jì)學(xué)和概率論中借用的方法和模型上。[11]它還受益于數(shù)字化信息日益增多的可用性以及通過(guò)互聯(lián)網(wǎng)分發(fā)信息的能力。

機(jī)器學(xué)習(xí)就是對(duì)計(jì)算機(jī)一部分?jǐn)?shù)據(jù)進(jìn)行學(xué)習(xí)，然后對(duì)另外一些數(shù)據(jù)進(jìn)行預(yù)測(cè)與判斷。

機(jī)器學(xué)習(xí)的核心是“使用算法解析數(shù)據(jù)，從中學(xué)習(xí)，然后對(duì)新數(shù)據(jù)做出決定或預(yù)測(cè)”。也就是說(shuō)計(jì)算機(jī)利用以獲取的數(shù)據(jù)得出某一模型，然后利用此模型進(jìn)行預(yù)測(cè)的一種方法，這個(gè)過(guò)程跟人的學(xué)習(xí)過(guò)程有些類(lèi)似，比如人獲取一定的經(jīng)驗(yàn)，可以對(duì)新問(wèn)題進(jìn)行預(yù)測(cè)。

我們舉個(gè)例子，我們都知道支付寶春節(jié)的“集五?！被顒?dòng)，我們用手機(jī)掃“?！弊终掌R(shí)別福字，這個(gè)就是用了機(jī)器學(xué)習(xí)的方法。我們可以為計(jì)算機(jī)提供“?！弊值恼掌瑪?shù)據(jù)，通過(guò)算法模型機(jī)型訓(xùn)練，系統(tǒng)不斷更新學(xué)習(xí)，然后輸入一張新的福字照片，機(jī)器自動(dòng)識(shí)別這張照片上是否有福字。

機(jī)器學(xué)習(xí)是一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等多門(mén)學(xué)科。機(jī)器學(xué)習(xí)的概念就是通過(guò)輸入海量訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，使模型掌握數(shù)據(jù)所蘊(yùn)含的潛在規(guī)律，進(jìn)而對(duì)新輸入的數(shù)據(jù)進(jìn)行準(zhǔn)確的分類(lèi)或預(yù)測(cè)。

監(jiān)督學(xué)習(xí)就是訓(xùn)練機(jī)器學(xué)習(xí)的模型的訓(xùn)練樣本數(shù)據(jù)有對(duì)應(yīng)的目標(biāo)值，監(jiān)督學(xué)習(xí)就是通過(guò)對(duì)數(shù)據(jù)樣本因子和已知的結(jié)果建立聯(lián)系，提取特征值和映射關(guān)系，通過(guò)已知的結(jié)果，已知數(shù)據(jù)樣本不斷的學(xué)習(xí)和訓(xùn)練，對(duì)新的數(shù)據(jù)進(jìn)行結(jié)果的預(yù)測(cè)。

監(jiān)督學(xué)習(xí)通常用在分類(lèi)和回歸。比如手機(jī)識(shí)別垃圾短信，電子郵箱識(shí)別垃圾郵件，都是通過(guò)對(duì)一些歷史短信、歷史郵件做垃圾分類(lèi)的標(biāo)記，對(duì)這些帶有標(biāo)記的數(shù)據(jù)進(jìn)行模型訓(xùn)練，然后獲取到新的短信或是新的郵件時(shí)，進(jìn)行模型匹配，來(lái)識(shí)別此郵件是或是不是，這就是監(jiān)督學(xué)習(xí)下分類(lèi)的預(yù)測(cè)。

再舉一個(gè)回歸的例子，比如我們要預(yù)測(cè)公司凈利潤(rùn)的數(shù)據(jù)，我們可以通過(guò)歷史上公司利潤(rùn)(目標(biāo)值)，以及跟利潤(rùn)相關(guān)的指標(biāo)，比如營(yíng)業(yè)收入、資產(chǎn)負(fù)債情況、管理費(fèi)用等數(shù)據(jù)，通過(guò)回歸的方式我們回到的一個(gè)回歸方程，建立公司利潤(rùn)與相關(guān)因此的方程式，通過(guò)輸入因子數(shù)據(jù)，來(lái)預(yù)測(cè)公司利潤(rùn)。

監(jiān)督學(xué)習(xí)難點(diǎn)是獲取具有目標(biāo)值的樣本數(shù)據(jù)成本較高，成本高的原因在于這些訓(xùn)練集的要依賴(lài)人工標(biāo)注工作。