1月底，計算領(lǐng)域經(jīng)歷了兩個不同尋常的里程碑——很多人都沒有注意到。一個記錄了開拓者的逝去：人工智能(AI)領(lǐng)域先驅(qū)、導(dǎo)師Marvin Minsky去世。而另一個顯著的里程碑則可能標(biāo)志著一個新時代的開始。就在Minsky去世后的幾天，《自然》雜志的一篇文章報道了一臺計算機在一場五局的圍棋正式比賽中以5:0擊敗了歐洲圍棋冠軍Fan Hui。AI在上個世紀70年代已經(jīng)奄奄一息了，(圖1)，而現(xiàn)在又煥發(fā)了青春，引發(fā)了新一輪研究，例如，公開抓物演示，引起了對機器人的恐懼潮，使得人們重新思考系統(tǒng)設(shè)計的某些門類。

圖1. 就像“現(xiàn)代普羅米修斯”中的怪物，AI通過對早期概念的修修補補看起來又復(fù)活了。

我們也許應(yīng)該停下來思考一下定義。對AI正式的描述是圖靈機測試：“我無法定義它，雖然我看不到它，但我知道它的存在。”或者，不太正式的，AI不需要人類的干預(yù)就能夠讓一個系統(tǒng)去完成通常與生命體相關(guān)的任務(wù)。

不論您喜歡哪種定義，AI都像過山車那樣大起大落。上個世紀60年代讓人興奮到了頂點，那時MIT的Minsky等研究團隊率先展示了大型機軟件解析自然語言文本，采用攝像機識別物體，通過機器人手臂來操縱這些物體。然后就停滯不前了，十多年里看起來好像什么也沒有發(fā)生。

而上個世紀80年代又圍繞專家系統(tǒng)、模糊邏輯和神經(jīng)網(wǎng)絡(luò)等概念掀起了一次研究高潮。但是這一波高潮同樣退去了，因為所產(chǎn)生的系統(tǒng)既不能調(diào)整也不能推廣。

今天，我們還是處于另一波浪中。前沿研究各種各樣的新結(jié)果，例如，玩人類的游戲，識別照片中的物體，知道所在位置，無人駕駛車輛的控制等，都看起來很有希望。這一次會有所不同嗎?

三種基礎(chǔ)

為回答這一問題，我們需要回顧一下算法的特點。從這一角度，我們可以看到AI的過去是三種大概念交織在一起：基于規(guī)則的系統(tǒng)、神經(jīng)生物學(xué)，以及大規(guī)模并行搜素(圖2)。

圖2. 來自不同領(lǐng)域的三種工作渠道匯集到了今天的AI思路中。

基于規(guī)則的系統(tǒng)給AI帶來了最直觀的方法：如果您要讓一個系統(tǒng)去完成一項任務(wù)，那么，給它一組規(guī)則，讓它按規(guī)則去做。規(guī)則通常非常簡單：如果X為真，那么進行Y。從這種簡單的形式中，您可以構(gòu)建非常復(fù)雜的偶發(fā)樹。實際表明這種結(jié)構(gòu)在解某些問題時非常有效，例如，簡單游戲，基于預(yù)定義特性的分類，處理形式邏輯，或者確定IC設(shè)計中的模式與工藝技術(shù)相兼容。

而這些都是人類在認知層面上思考時遇到的問題。如果有疑問，我們可以展示我們的工作。有很多任務(wù)，包括，感知、判斷、意識，或者直覺，這其中我們并沒有察覺到自己的思考過程。Intel資深研究員Pradeep Dubey解釋說，“規(guī)則來自那些智慧的人們。但是，我們對我們自己推理過程的理解非常不可靠。”

試著想像一下，能否有一組規(guī)則在任何環(huán)境下都可以確定哪些像素代表了您母親的臉部。直覺上，應(yīng)該有。而第一波AI就是要解決這類問題，只是江郎才盡，用盡了計算能力。而且，它是如此直觀——很多人都相信要最終獲得成功，只要有更多的規(guī)則、更多的資金、更多的MIPS就可以了。

大約在同一時期——上個世紀60年代，Minsky和其他人一起展示了基于規(guī)則的系統(tǒng)驚人的早期結(jié)果，這一新的偉大理念來自一個完全不同的領(lǐng)域。神經(jīng)生物學(xué)家開始解開神經(jīng)元細胞的精細結(jié)構(gòu)，把神經(jīng)元體、樹突和突觸作為電子網(wǎng)絡(luò)組成進行建模，而不是作為活細胞或者電化學(xué)交換單元。

這種想法對生物學(xué)家用處不大，但在AI領(lǐng)域卻是一種爆發(fā)。神經(jīng)元網(wǎng)絡(luò)模型已經(jīng)可以由那時的大型機進行處理了，成為密集研究的主題，帶來了無窮無盡的研究項目，Minsky尤其推崇。被稱之為最流行模型的這種“感知器”實際上的連接要比真實的大腦神經(jīng)元少得多。它通過調(diào)整一個簡單非線性匯集器輸入的權(quán)重系數(shù)進行學(xué)習(xí)，而實際的神經(jīng)元是通過增加新連接，使用復(fù)雜的時間相關(guān)系列函數(shù)來適應(yīng)的。

盡管如此簡單，研究人員發(fā)現(xiàn)即使很少的感知器也能一起工作，經(jīng)過訓(xùn)練后可以很好的完成簡單的目標(biāo)識別和認知任務(wù)。然而此時，基于規(guī)則的系統(tǒng)研究人員等感知器推崇者也發(fā)現(xiàn)這會超出計算能力。但是，他們非常懷疑實際的感知器大網(wǎng)——稱之為神經(jīng)網(wǎng)絡(luò)，生物學(xué)家對此已經(jīng)完全不了解了，這種網(wǎng)絡(luò)即使有足夠的計算能力，也能否好于基于規(guī)則的系統(tǒng)，這些系統(tǒng)用于完成不好理解的AI任務(wù)。

動蕩年代

這種情形一直持續(xù)到上個世紀80年代，人們逐漸忘記了AI，或者指責(zé)AI未能達成所愿。但是在上個世紀80年代又樂觀起來了，這時誕生了摩爾定律，業(yè)界涌現(xiàn)了風(fēng)險投資潮。研究人員又開始做AI夢了。

基于規(guī)則的系統(tǒng)以專家系統(tǒng)的樣子重生：這種架構(gòu)能夠幫助人類理解相關(guān)主題專家系統(tǒng)怎樣解決問題，把想法抽象為規(guī)則。神經(jīng)網(wǎng)絡(luò)研究人員構(gòu)建了規(guī)模更大、更復(fù)雜的網(wǎng)絡(luò)，確信其計算能力更強，就像實際的機器視覺那樣能夠工作。模糊邏輯是相關(guān)的混合概念，在控制系統(tǒng)中似乎充滿前途。但進展還是達到了平臺期，業(yè)界的注意力又轉(zhuǎn)移了。

進入搜索

影響AI的另一個大的想法來自讓人想不到的方向：互聯(lián)網(wǎng)搜索引擎。數(shù)量巨大的網(wǎng)頁需要高效的搜索工具，其經(jīng)濟意義恰好符合大規(guī)模數(shù)據(jù)中心的經(jīng)濟規(guī)模需求。在這種環(huán)境下，涉及到大規(guī)模并行搜索的三重基本結(jié)構(gòu)(圖3)。

圖3. 三重模型描述了大規(guī)模并行搜索系統(tǒng)，也對應(yīng)于很多AI系統(tǒng)。

頂層代表了巨大的數(shù)據(jù)池的結(jié)構(gòu)。“蜘蛛”探查網(wǎng)頁，采集可搜索數(shù)據(jù)以及易于識別的關(guān)鍵詞，連續(xù)構(gòu)建數(shù)據(jù)，將其裝入到基本非結(jié)構(gòu)池中。第二層按照關(guān)系對巨量的數(shù)據(jù)進行過濾。當(dāng)出現(xiàn)一次查詢時，這一層構(gòu)建一個過濾器，根據(jù)元數(shù)據(jù)和文本模式等類似很容易訪問到的特性，識別出可能有某些關(guān)系的頁面。需要針對速度和包容性對這一過濾器進行優(yōu)化。過濾器被分發(fā)到數(shù)量巨大的服務(wù)器上，每一個都分配了相當(dāng)數(shù)量的頁面數(shù)據(jù)池。從這些潛在的成千上萬的服務(wù)器中，您就有可能得到數(shù)千個相關(guān)的頁面。

搜索用戶不會對雜亂無章堆疊在一起的可能相關(guān)的頁面感興趣，因此，還需要一層：頁面排序。這里，代碼顯然是基于規(guī)則的組合——一些來自某些搜索專家，一些學(xué)自用戶以前的點擊行為，對候選頁面進行等級排序，從而產(chǎn)生了您在屏幕上看到的頁面列表。開發(fā)人員還在評級問題上應(yīng)用了神經(jīng)網(wǎng)絡(luò)，但是，規(guī)則和網(wǎng)絡(luò)對應(yīng)起來是非常隱私的問題。

它會思考嗎?

聰明的人們采用合適的過濾和評級算法，不需要很長的時間就能夠識別出這些，這種三重結(jié)構(gòu)能夠勝任完成非常智能的行為。更進一步：搜索算法能夠很好的應(yīng)用于某些類型的游戲。

例如，考慮一下井字棋。簡單的算法能夠一步一步的構(gòu)建一個數(shù)據(jù)池，列出了每一個合法的對策。這就是第1層。然后，當(dāng)您玩游戲時，您可以使用第2層過濾器，查詢數(shù)據(jù)池中含有當(dāng)前棋盤狀態(tài)的合法對策。最后，第3層評定引擎選擇能夠讓您獲勝的對策。現(xiàn)在，您知道了下一步走法。

IBM以一種更復(fù)雜的方式使用了這種結(jié)構(gòu)，建立了Jeopardy競賽計算系統(tǒng)Watson。Jeopardy差不多是一種非常正式的游戲，很多地方與搜索相似。因此，毫不令人吃驚的，Watson能夠很好的建立起三重模型。

在第1層，人類專家選出幾類網(wǎng)頁——例如，全部維基百科，將其送入到Watson中，摘入到大規(guī)模數(shù)據(jù)池中。他們建立了第2個過濾層，根據(jù)從線索中產(chǎn)生的關(guān)鍵詞以及線索結(jié)構(gòu)的語義分析，挑出候選頁面。例如，線索是否要求某一類別的實例，就像第十任法國國王是誰? 或者，它是否有雙關(guān)含義? 最終，從過濾器中選出的真正有意義的信息被分類評級，從而與線索完全相符。在一場電視轉(zhuǎn)播的Jeopardy實際競賽中——除了沒有一些線索外，Watson設(shè)計人員還無法針對這些線索設(shè)計出規(guī)則，Watson擊敗了以前的兩名人類冠軍。為能夠理解相對適中的規(guī)模，成功的Watson使用了2,500多臺服務(wù)器，運行了Apache非結(jié)構(gòu)化信息管理體系結(jié)構(gòu)和Hadoop：按照今天的標(biāo)準，這絕不是一個大型系統(tǒng)。

更傳統(tǒng)的游戲呈現(xiàn)出不同類型的挑戰(zhàn)。例如，國際象棋很接近井字棋。但是要在一個數(shù)據(jù)集中生成所有可能的國際象棋對策是不可能的。而IBM的“深藍”——國際象棋游戲系統(tǒng)，在1997年的復(fù)賽中最終擊敗了特級大師Gary Kasparov，它采用了與假想井字棋機器相同的分層結(jié)構(gòu)。但是，深藍并沒有采用所有可能走法的巨大的數(shù)據(jù)集，而是使用了專用硬件，從當(dāng)前位置即時生成可能的走法。把它看成是按需第1層。

當(dāng)它生成走法時，深藍通過向前走出所有的合法走法來進行評估。系統(tǒng)中主CPU上的軟件生成數(shù)千種后面的四種走法合理的序列，并進行評估。沒有明顯失誤的序列然后被映射到系統(tǒng)的其他CPU上。(擊敗了Kasparov的1997版的深藍含有30個RS/6000 CPU，每一個連接了16個象棋處理ASIC。)每個CPU從其分配到的序列開始，生成后續(xù)連續(xù)的四種走法序列，評估每個新序列。深藍查看下面八種走法所有合理的序列。

對于這八種走法，在軟件中進行分析，使得IBM的國際象棋專家即使在比賽過程中也能夠修改算法。通過早期的應(yīng)用，軟件能夠遵從有可能贏的序列，一直到游戲結(jié)束。八種走法序列的其他部分——有可能是數(shù)百萬個，被分配到硬件國際象棋芯片中，再次進行后續(xù)的四種走法，并分析。最終，在我們所謂的第3層，對比所有12種走法序列的評分和所有保持不敗的走法，主CPU從得分最高的序列中選擇下一步走法。

前進之路

深藍在1997年的勝利可能標(biāo)志著基于規(guī)則的系統(tǒng)已經(jīng)達到了最高點。自此之后，大量的工作是在專家系統(tǒng)上——實際上，IBM使用當(dāng)時的POWER服務(wù)器硬件把深藍推向市場，應(yīng)用于地質(zhì)勘探和醫(yī)療診斷等各種領(lǐng)域。但是AI的體系結(jié)構(gòu)發(fā)展方向卻被另一生力軍改變了——神經(jīng)網(wǎng)絡(luò)的回歸。

這種復(fù)興來源于兩種因素。首先是大規(guī)模并行計算系統(tǒng)的出現(xiàn)。對于很多神經(jīng)網(wǎng)絡(luò)，在使用中，在其要求嚴格的訓(xùn)練模式中，都遇到了令人尷尬的并行問題。在數(shù)萬臺服務(wù)器上，您可以真正的認真處理巨大的深度分層的網(wǎng)絡(luò)，而這是上個世紀80年代研究人員所夢想的。

但是，仍然有問題。常規(guī)的神經(jīng)網(wǎng)絡(luò)在其訓(xùn)練階段是全連接的：一層中的每個神經(jīng)元連接了前一層中每一神經(jīng)元的輸入。如果把神經(jīng)元分散到不同的服務(wù)器上，這不但使得一個神經(jīng)元下一級的計算非常繁瑣，而且會帶來雪崩式的網(wǎng)絡(luò)流量。最好是有一種 推理 的方法，以減少網(wǎng)絡(luò)中的連接，但是不失其通用性。

好在機器視覺領(lǐng)域的工作解決了這一問題，是促使其復(fù)活的另一因素。多年以來研究人員一直使用卷積內(nèi)核作為特性探測器。在這一應(yīng)用中，每一個小內(nèi)核只掃描整個輸入圖像的一小部分——可能是6*16像素矩陣。研究人員發(fā)現(xiàn)您不僅可以通過在前端放置一個卷積平面來縮減神經(jīng)網(wǎng)絡(luò)的規(guī)模，而且還可以在網(wǎng)絡(luò)中深度混合卷積平面，極大的減少了互聯(lián)。然后，可以采用神經(jīng)元輸入權(quán)重來訓(xùn)練卷積濾波器。結(jié)果被稱之為卷積神經(jīng)網(wǎng)絡(luò)(CNN)，如圖4所示。經(jīng)過高強度訓(xùn)練后，這在識別和解析2D圖像方面非常成功。而CNN能夠進一步推廣。

圖4. 卷積神經(jīng)網(wǎng)絡(luò)在靠近前端使用卷積級，在后端使用全連接級。

更廣泛的應(yīng)用

機器視覺領(lǐng)域的一個分支立即采用了CNN。汽車輔助駕駛(ADAS)和無人駕駛汽車的研究人員采用CNN作為一種方法來減少汽車上的攝像機、雷達和激光產(chǎn)生的圖像。

最近，另一種應(yīng)用使用了CNN獲得了驚人的結(jié)果：DeepMind，還有其足以擊敗圍棋大師的程序。圍棋與國際象棋有些相似性，實際上，以前的圍棋軟件所采用的方法與國際象棋程序所采用的相似——走法預(yù)測和基于規(guī)則的位置評估方法相結(jié)合，搜索出最好的下一步走法。但是在規(guī)模上不同。在國際象棋中，算出后面的四步走法——初學(xué)者很難做到，會產(chǎn)生大約一千多個位置。在圍棋中，算出后面的四步走法會產(chǎn)生大約三十億可能的位置。很顯然，即使是對后面的幾步走法進行窮盡式搜索也是不可能的。

程序員采用了兩種策略嘗試解決這一問題。最熟悉的是使用基于規(guī)則的系統(tǒng)，分析當(dāng)前位置中的模式，建議下一步的走法，而不會去嘗試預(yù)測結(jié)果。如果您下過圍棋，就會知道這種方法對于一名有前途的初學(xué)者而言并不難。

另一種策略是蒙特卡洛方法：既然您無法窮盡一個位置的后續(xù)所有走法序列，那么盡可能選擇一個大數(shù)，隨機的或者通過一種策略算法，運行一定次數(shù)，選擇最有可能獲勝的一個。雖然這看起來是任意的——但是您不能保證不會錯過最佳序列，對于很多類型的游戲，實際上隨著采樣數(shù)的增加，蒙特卡洛方法能夠趨向于獲得最佳走法。在圍棋中，對于一般選手，這確是棋逢對手。

但DeepMind要的是冠軍，而不是一個陪練。設(shè)計人員決定把蒙特卡洛方法與兩種不同的CNN結(jié)合起來——一個確定策略，一個評估位置。大致上，使用策略CNN來指導(dǎo)后續(xù)走法，通過評估網(wǎng)絡(luò)為結(jié)果位置打分，DeepMind的系統(tǒng)的確擊敗了一名冠軍。

采用CNN立即帶來了一個問題——怎樣訓(xùn)練它們。Intel的Dubey解釋說，“有三種基本訓(xùn)練方法，監(jiān)管學(xué)習(xí)、加固學(xué)習(xí)和無監(jiān)管學(xué)習(xí)。DeepMind采用了前兩個。設(shè)計人員參考高手曾經(jīng)進行過的大量的實際比賽數(shù)據(jù)，對其兩個網(wǎng)絡(luò)進行監(jiān)管。結(jié)合多次進行過的比賽，會呈現(xiàn)出棋盤位置以及人類實際的下一步走法來訓(xùn)練網(wǎng)絡(luò)。

為拓展訓(xùn)練，會讓系統(tǒng)與隨機選出的自己以前的早期版本進行比賽，通過比賽結(jié)果來進行加固。這不僅拓展了CNN的經(jīng)驗，而且將訓(xùn)練聚焦在最終結(jié)果上——贏或者輸，而不是模仿人類參賽選手上。在訓(xùn)練過程中，設(shè)計人員使用常規(guī)的梯度遞增或者遞減函數(shù)來調(diào)整網(wǎng)絡(luò)的卷積系數(shù)和神經(jīng)元權(quán)重。

所有DeepMind的結(jié)構(gòu)都是常規(guī)的：很多卷積層，然后是很多全連接層。其唯一不同的特性來自學(xué)習(xí)過程，特別是加固學(xué)習(xí)，系統(tǒng)與自己以前的版本進行比賽。

Dubey注意到，我們才剛剛開始研究這么大的學(xué)習(xí)網(wǎng)絡(luò)。一種有前途的未來是在大規(guī)模并行系統(tǒng)上訓(xùn)練網(wǎng)絡(luò)，然后以更小的系統(tǒng)來替代訓(xùn)練后的網(wǎng)絡(luò)。他說，“一旦訓(xùn)練后，模型會非常緊湊。”然后可以把這些緊湊模型裝入到智能電話或者可穿戴設(shè)備中，分布在數(shù)百萬用戶中。然后，當(dāng)模型遇到意外結(jié)果時，會向云端報告，讓更大的、可訓(xùn)練的模型學(xué)習(xí)現(xiàn)場大量的、訓(xùn)練過的網(wǎng)絡(luò)所得出的經(jīng)驗。

而實際目的是通過完全無監(jiān)管的連續(xù)學(xué)習(xí)來替代加固學(xué)習(xí)。在這種模式中，現(xiàn)場的設(shè)備會不斷學(xué)習(xí)——不是從給定的輸入中和所需的輸出中，也不是從正確的結(jié)果給出的獎賞中，而是通過優(yōu)化網(wǎng)絡(luò)本身的復(fù)雜函數(shù)來實現(xiàn)。這在研究領(lǐng)域中是最前沿的，數(shù)據(jù)中心的大規(guī)模并行系統(tǒng)都進行了這方面的研究。而Dubey主張不能總是把無監(jiān)管系統(tǒng)棄之不用。

Dubey注意到，“人們說，我們已經(jīng)達到了這種層面——每個人所擁有的計算能力已經(jīng)超出了他們的使用需求。但是，無監(jiān)管學(xué)習(xí)遇到的難題改變了一切——不僅僅是斜率變化，還有高階變量，還要學(xué)習(xí)快速變化的函數(shù)。您無法在日常遇到的問題和exaFLOPS之間實現(xiàn)兩全其美。”

可能最好是結(jié)合部分以前的工作。也許只有強大的計算能力才能為之一振。但是現(xiàn)在的AI充滿活力，還在不斷發(fā)展。它對計算能力有迫切的需求。