為了讓初學者了解AI，以下列出六個值得注意的AI領域，并描述它們是什么、為什么它們是重要的、它們今天如何使用，以及研究它們的公司。

在過去10年中，AI領域取得了很大的進步，隨著巨頭接連不斷地借媒體闡明他們長期看重AI的策略，很多人已經(jīng)對語音識別和自動駕駛如數(shù)家珍。不過仍常有人將AI與機器學習混淆，其實AI是一個多學科構成的領域，最終目標是建立能夠執(zhí)行任務和認知功能的機器，為了到達這一目標，機器必須能夠自主學習這些能力。

為了讓初學者了解AI，以下列出六個值得注意的AI領域，并描述它們是什么、為什么它們是重要的、它們今天如何使用，以及研究它們的公司。

1.強化學習（ Reinforcement learning）

RL是一種通過試探而學習的范式，受人類學習新任務的啟發(fā)。在典型的RL設置中，AI被賦予在數(shù)字環(huán)境中觀察其當前狀態(tài)的任務，從環(huán)境接收每個動作的結果并給予激勵反饋，使得其知道動作是否促進或阻礙其進展。因此，AI必須找到最佳的獲得獎勵策略。谷歌旗下的DeepMind便使用了這種方法。在現(xiàn)實世界中，RL的一個例子是優(yōu)化冷卻Google數(shù)據(jù)中心能效的任務，一個RL系統(tǒng)實現(xiàn)了減少40％的冷卻成本。在可以模擬的環(huán)境（例如視頻游戲）中使用RL的優(yōu)點是，訓練數(shù)據(jù)可以以非常低的成本生成。這與監(jiān)督深度學習任務形成鮮明對比，這些任務通常需要昂貴且難以從現(xiàn)實世界獲取的訓練數(shù)據(jù)。

應用范圍：多個AI在自己的環(huán)境中學習或互動，在相同的環(huán)境中互相學習，學習導航的3D環(huán)境，如迷宮或城市街道的自動駕駛，逆強化學習來概括觀察到的行為通過學習任務的目標（例如學習駕駛）。

公司：谷歌DeepMind，Prowler.io，Osaro，MicroPSI，Maluuba /微軟，NVIDIA，Mobileye。

2.生成模型

與用于分類或回歸任務的判別模型相反，生成模型在訓練示例上學習概率分布。通過從這種高維分布中抽樣，生成模型輸出與訓練數(shù)據(jù)類似的新示例。這意味著，例如，在面部的真實圖像上訓練的生成模型可以輸出類似面部的新的合成圖像。有關這些模型是如何工作的，可以參照伊恩·古德費洛的真棒NIPS 2016教程。他介紹了該體系結構，生成對抗網(wǎng)絡（GANs），提供了對無監(jiān)督的學習路徑。GANs有兩個神經(jīng)網(wǎng)絡：一個發(fā)生器，它接受隨機噪聲作為輸入，其任務是合成的內容（例如，圖像）；一個鑒別器，它已經(jīng)學會真實圖像長什么樣，任務是識別圖像是真的還是假的。對抗訓練可以被認為是一種游戲，機器必須迭代地學習如何使鑒別器不再能夠區(qū)分所生成的圖像和真實圖像。這個框架正在擴展到許多數(shù)據(jù)模式和任務。

應用范圍：模擬一個時間序列的可能的未來（如在強化學習計劃任務）; 超分辨率圖像 ; 將2D圖像恢復成三維結構 ; 從小標簽數(shù)據(jù)集中進行歸納; 一個輸入可以產生多個正確的輸出（如預測視頻的下一幀 ;創(chuàng)建用在會話接口的自然語言; 當不是所有的標簽都可以半監(jiān)督學習時; 藝術風格轉移 ; 合成音樂，聲音 。

公司：Twitter，Adobe，蘋果，Prisma，Jukedeck，CreaTIve.ai，Gluru，Mapillary，Unbabel。

3.具有記憶存儲的網(wǎng)絡

為了使AI系統(tǒng)在多樣化的現(xiàn)實世界環(huán)境中推廣，他們必須能夠不斷地學習新的任務，并記住如何在未來執(zhí)行所有的任務。然而，傳統(tǒng)的神經(jīng)網(wǎng)絡通常不能進行這樣的學習，這個缺點被稱為災難性的遺忘。其發(fā)生是因為當網(wǎng)絡被訓練以解決任務B時，網(wǎng)絡中對于解決任務A的權重會發(fā)生改變。

然而，有幾個強大的架構，可以賦予神經(jīng)網(wǎng)絡不同程度的記憶，包括長短期記憶網(wǎng)絡（一個經(jīng)常性的神經(jīng)網(wǎng)絡的變體），它能夠處理和預測時間序列。DeepMind的微神經(jīng)計算機，結合神經(jīng)網(wǎng)絡和存儲系統(tǒng)，便能學習和瀏覽自己的復雜數(shù)據(jù)結構。

應用范圍：可推廣到新的環(huán)境中學習; 機器人臂控制任務; 自動駕駛; 時間序列預測（例如金融市場，視頻，物聯(lián)網(wǎng)）; 自然語言理解和下一詞預測。

公司：谷歌DeepMind，NNaisense，SwiftKey /微軟研究院，F(xiàn)acebook的AI研究。

4.用更少的數(shù)據(jù)學習和建立更小的模型

深度學習模型值得注意的是需要大量的訓練數(shù)據(jù)。如果沒有大規(guī)模的訓練數(shù)據(jù)，深度學習模型將不會收斂到它們的最佳設置，并且在諸如語音識別或機器翻譯的復雜任務上效果不佳。這種數(shù)據(jù)要求僅在使用單個神經(jīng)網(wǎng)絡來端到端地解決問題時增長，比如將語音的原始音頻記錄作為輸入并輸出語音的文本轉錄。

如果我們希望AI解決訓練數(shù)據(jù)少、貴、耗時的問題，那么開發(fā)可以從較少的示例（即一個或零開始的學習）學習最優(yōu)解決方案的模型。當對小數(shù)據(jù)集進行培訓時，挑戰(zhàn)包括過度擬合，處理異常值的困難，訓練和測試之間的數(shù)據(jù)分布的差異。另一種方法是遷移學習。

應用范圍：通過學習培訓淺網(wǎng)絡模仿深層網(wǎng)絡的性能，最初接受大型標記的訓練數(shù)據(jù); 用較少的參數(shù)，但同等性能深模型架構（如SqueezeNet）; 機器翻譯。

公司：Geometric Intelligence/Uber，DeepScale.ai，微軟研究院，谷歌，Bloomsbury AI。

5.用于訓練的硬件

AI進步的主要催化劑是圖形處理單元（GPU）的重用以訓練大神經(jīng)網(wǎng)絡模型。不同于以順序方式計算的中央處理單元（CPU），GPU提供一個大規(guī)模并行架構，可以同時處理多個任務?？紤]到神經(jīng)網(wǎng)絡必須處理大量（通常是高維數(shù)據(jù)），在GPU上的訓練比CPU快得多。這就是為什么NVIDIA能在近年大熱。

然而，GPU不是專門用于訓練AI的，它們的出現(xiàn)是為了渲染視頻和游戲圖形。GPU具有的高計算精度并非必要，并且存在存儲器帶寬和數(shù)據(jù)吞吐量問題。這為創(chuàng)業(yè)公司帶來了機會——創(chuàng)造專門為高維機器學習應用設計的芯片。通過新的芯片改善更大的內存帶寬，具有更高的計算密度，效率和每瓦性能。借此實現(xiàn)：更快、更有效的模型訓練→更好的用戶體驗→用戶與產品快速迭代→創(chuàng)建更大的數(shù)據(jù)集→通過優(yōu)化提高模型的性能。

應用范圍：快速訓練模型（尤其是在圖形上）; 做預測時提高能量和數(shù)據(jù)效率; 運行AI系統(tǒng)的IoT設備; IaaS;自動駕駛，無人機和機器人。

公司：Graphcore，Cerebras，Isocline Engineering，谷歌（TPU），NVIDIA（DGX-1），Nervana系統(tǒng)（英特爾），Movidius（英特爾），Scortex

6.仿真環(huán)境

如前所述，為AI系統(tǒng)生成訓練數(shù)據(jù)通常是具有挑戰(zhàn)性的。更重要的是，AI必須推廣到許多情況下才能在現(xiàn)實世界中有用。因此，開發(fā)模擬現(xiàn)實世界的物理和行為，將為我們提供訓練AI的良好環(huán)境。這些環(huán)境將原始像素呈現(xiàn)給AI，然后AI執(zhí)行動作以便解決他們已經(jīng)設置（或學習）的目標。在訓練中，這些仿真環(huán)境可以幫助我們理解的AI系統(tǒng)如何學習，如何提高他們，但也為我們提供了模型，可以潛在地轉移到現(xiàn)實世界的應用。

應用范圍：學習駕駛 ; 制造業(yè); 工業(yè)設計; 游戲開發(fā); 智能城市。