機(jī)器學(xué)習(xí)算法可以按照不同的標(biāo)準(zhǔn)來(lái)進(jìn)行分類(lèi)。按照訓(xùn)練樣本提供的信息以及反饋方式的不同，將機(jī)器學(xué)習(xí)算法分為監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

監(jiān)督學(xué)習(xí)

監(jiān)督式學(xué)習(xí)(Supervised Learning)，是機(jī)器學(xué)習(xí)的一種方法，可以由訓(xùn)練資料中學(xué)到或建立一個(gè)模式(函數(shù)/learning model)，并依此模式推測(cè)新的實(shí)例[12]。訓(xùn)練資料是由輸入物

件(通常是向量)和預(yù)期輸出所組成。函數(shù)的輸出可以是一個(gè)連續(xù)的值，或是預(yù)測(cè)一個(gè)分類(lèi)標(biāo)簽。一個(gè)監(jiān)督式學(xué)習(xí)者的任務(wù)在觀(guān)察一些事先標(biāo)記過(guò)的訓(xùn)練范例(輸入和預(yù)期輸出)后，去預(yù)測(cè)這個(gè)函數(shù)對(duì)任何可能出現(xiàn)的輸入的輸出。要達(dá)到此目的，學(xué)習(xí)者必須以“合理”(見(jiàn)歸納偏向)的方式從現(xiàn)有的資料中一般化到非觀(guān)察到的情況[13]

根據(jù)標(biāo)簽類(lèi)型的不同，又可以將其分為分類(lèi)問(wèn)題和回歸問(wèn)題兩類(lèi)。分類(lèi)問(wèn)題的目標(biāo)是通過(guò)輸入變量預(yù)測(cè)出這一樣本所屬的類(lèi)別，例如對(duì)于植物品種、客戶(hù)年齡和偏好的預(yù)測(cè)問(wèn)題都可以被歸結(jié)為分類(lèi)問(wèn)題。這一領(lǐng)域中使用最多的模型便是支持向量機(jī)，用于生成線(xiàn)性分類(lèi)的決策邊界。隨著深度學(xué)習(xí)的發(fā)展，很多基于圖像信號(hào)的分類(lèi)問(wèn)題越來(lái)越多地使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成。回歸主要用于預(yù)測(cè)某一變量的實(shí)數(shù)取值，其輸出的不是分類(lèi)結(jié)果而是一個(gè)實(shí)際的值。常見(jiàn)的例子是包括市場(chǎng)價(jià)格預(yù)測(cè)、降水量預(yù)測(cè)等。人們主要通過(guò)線(xiàn)性回歸、多項(xiàng)式回歸以及核方法等來(lái)構(gòu)建回歸模型。

監(jiān)督式學(xué)習(xí)有兩種形態(tài)的模型：一種是全域模型，會(huì)將輸入物件對(duì)應(yīng)到預(yù)期輸出;另一種是將這種對(duì)應(yīng)實(shí)作在一個(gè)區(qū)域模型(如案例推論及最近鄰居法)。為了解決一個(gè)給定的監(jiān)督式學(xué)習(xí)的問(wèn)題(手寫(xiě)辨識(shí))，必須考慮以下步驟：

1)決定訓(xùn)練資料的范例的形態(tài)。在做其它事前，工程師應(yīng)決定要使用哪種資料為范例。譬如，可能是一個(gè)手寫(xiě)字符，或一整個(gè)手寫(xiě)的辭匯，或一行手寫(xiě)文字。

2)搜集訓(xùn)練資料。這資料需要具有真實(shí)世界的特征。所以，可以由人類(lèi)專(zhuān)家或機(jī)器(或感測(cè)器的)測(cè)量中得到輸入物件和其相對(duì)應(yīng)輸出。

3)決定學(xué)習(xí)函數(shù)的輸入特征的表示法。學(xué)習(xí)函數(shù)的準(zhǔn)確度與輸入的物件的表示方式有很大的關(guān)聯(lián)度。傳統(tǒng)上，輸入的物件會(huì)被轉(zhuǎn)成一個(gè)特征向量，包含了許多關(guān)于描述物件的特征。因?yàn)榫S數(shù)災(zāi)難的存在，特征的個(gè)數(shù)不宜太多，但也要足夠大，才能準(zhǔn)確地預(yù)測(cè)輸出。

4)決定要學(xué)習(xí)的函數(shù)和其對(duì)應(yīng)的學(xué)習(xí)算法所使用的數(shù)據(jù)結(jié)構(gòu)。譬如，工程師可能選擇人工神經(jīng)網(wǎng)絡(luò)和決策樹(shù)。

5)完成設(shè)計(jì)。工程師接著在搜集到的資料上跑學(xué)習(xí)算法?？梢越栌蓪①Y料跑在資料的子集(稱(chēng)為驗(yàn)證集)或交叉驗(yàn)證(cross-validation)上來(lái)調(diào)整學(xué)習(xí)算法的參數(shù)。參數(shù)調(diào)整后，算法可以運(yùn)行在不同于訓(xùn)練集的測(cè)試集。

無(wú)監(jiān)督學(xué)習(xí)

無(wú)監(jiān)督學(xué)習(xí)(Unsupervised Learning)是機(jī)器學(xué)習(xí)的一種方法，沒(méi)有給定事先標(biāo)記過(guò)的訓(xùn)練示例，自動(dòng)對(duì)輸入的數(shù)據(jù)進(jìn)行分類(lèi)或分群[15]。與監(jiān)督學(xué)習(xí)不同，非監(jiān)督學(xué)習(xí)并不需要完整的輸入輸出數(shù)據(jù)集，并且系統(tǒng)的輸出經(jīng)常是不確定的。它主要被用于探索數(shù)據(jù)中隱含的模式和分布。非監(jiān)督學(xué)習(xí)具有解讀數(shù)據(jù)并從中尋求解決方案的能力，通過(guò)將數(shù)據(jù)和算法輸入到機(jī)器中將能發(fā)現(xiàn)一些用其他方法無(wú)法見(jiàn)到的模式和信息。

常見(jiàn)的無(wú)監(jiān)督學(xué)習(xí)算法包括：稀疏自編碼(sparse auto-encoder)、主成分分析(Principal Component Analysis,PCA)、K-Means算法(K均值算法)、DBSCAN算法(Density-Based Spatial Clustering of Applications with Noise)、最大期望算法(Expectation-Maximization algorithm,EM)等。利用無(wú)監(jiān)督學(xué)習(xí)可以解決的問(wèn)題可以分為關(guān)聯(lián)分析、聚類(lèi)問(wèn)題和維度約減。

?關(guān)聯(lián)分析是指發(fā)現(xiàn)不同事物之間同時(shí)出現(xiàn)的概率。在購(gòu)物籃分析中被廣泛地應(yīng)用，如果發(fā)現(xiàn)買(mǎi)面包的客戶(hù)有百分之八十的概率買(mǎi)雞蛋，那么商家就會(huì)把雞蛋和面包放在相鄰的貨架上。

?聚類(lèi)問(wèn)題是指將相似的樣本劃分為一個(gè)簇(cluster)。與分類(lèi)問(wèn)題不同，聚類(lèi)問(wèn)題預(yù)先并不知道類(lèi)別，自然訓(xùn)練數(shù)據(jù)也沒(méi)有類(lèi)別的標(biāo)簽。

?維度約減是指減少數(shù)據(jù)維度的同時(shí)保證不丟失有意義的信息。利用特征提取方法和特征選擇方法，可以達(dá)到維度約減的效果。特征選擇是指選擇原始變量的子集。特征提取是將數(shù)據(jù)從高維度轉(zhuǎn)換到低維度。廣為熟知的主成分分析算法就是特征提取的方法。

強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)(Reinforcement learning,RL)是機(jī)器學(xué)習(xí)中的一個(gè)領(lǐng)域，強(qiáng)調(diào)如何基于環(huán)境而行動(dòng)才能取得最大化的預(yù)期利益。其靈感來(lái)源于心理學(xué)中的行為主義理論，即有機(jī)體如何在環(huán)境給予的獎(jiǎng)勵(lì)或懲罰的刺激下，逐步形成對(duì)刺激的預(yù)期，產(chǎn)生能獲得最大利益的習(xí)慣性行為。這個(gè)方法具有普適性，因此在其他許多領(lǐng)域都有研究，例如博弈論、控制論、運(yùn)籌學(xué)、信息論、仿真優(yōu)化、多主體系統(tǒng)學(xué)習(xí)、群體智能、統(tǒng)計(jì)學(xué)以及遺傳算法。在運(yùn)籌學(xué)和控制理論研究的語(yǔ)境下，強(qiáng)化學(xué)習(xí)被稱(chēng)作“近似動(dòng)態(tài)規(guī)劃”。在最優(yōu)控制理論中也有研究這個(gè)問(wèn)題，雖然大部分的研究是關(guān)于最優(yōu)解的存在和特性，并非是學(xué)習(xí)或者近似方面。在經(jīng)濟(jì)學(xué)和博弈論中，強(qiáng)化學(xué)習(xí)被用來(lái)解釋在有限理性的條件下如何出現(xiàn)平衡[17]。強(qiáng)化學(xué)習(xí)一般由5個(gè)構(gòu)成要素，包括：系統(tǒng)環(huán)境(System Environment)、參與者(Agent)、觀(guān)察(Observation)、行動(dòng)(Action)和獎(jiǎng)勵(lì)(Reward)。強(qiáng)化學(xué)習(xí)是參與者為了最大化長(zhǎng)期回報(bào)的期望，通過(guò)觀(guān)察系統(tǒng)環(huán)境不斷試錯(cuò)進(jìn)行學(xué)習(xí)的過(guò)程[18]。從強(qiáng)化學(xué)習(xí)的定義可以看

出，強(qiáng)化學(xué)習(xí)具有兩個(gè)最主要的特征：通過(guò)不斷試錯(cuò)來(lái)學(xué)習(xí)、追求長(zhǎng)期回報(bào)的最大化。在監(jiān)督學(xué)習(xí)或非監(jiān)督學(xué)習(xí)中，數(shù)據(jù)是靜態(tài)的，不需要與環(huán)境進(jìn)行交互，比如圖像識(shí)別，只要給出足夠的差異樣本，將數(shù)據(jù)輸入深度網(wǎng)絡(luò)中進(jìn)行訓(xùn)練即可。然而，強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過(guò)程是動(dòng)態(tài)的、不斷交互的，所以需要的數(shù)據(jù)也是通過(guò)與環(huán)境不斷交互而產(chǎn)生的。