機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能核心，是使計(jì)算機(jī)具有智能的根本途徑。

機(jī)器學(xué)習(xí)是一門多學(xué)科交叉專業(yè)，涵蓋概率論知識，統(tǒng)計(jì)學(xué)知識，近似理論知識和復(fù)雜算法知識，使用計(jì)算機(jī)作為工具并致力于真實(shí)實(shí)時(shí)的模擬人類學(xué)習(xí)方式，并將現(xiàn)有內(nèi)容進(jìn)行知識結(jié)構(gòu)劃分來有效提高學(xué)習(xí)效率。

機(jī)器學(xué)習(xí)有下面幾種定義：

(1)機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能。

(2)機(jī)器學(xué)習(xí)是對能通過經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究。

(3)機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)。

自動(dòng)機(jī)器學(xué)習(xí)(AutoML)旨在通過讓一些通用步驟(如數(shù)據(jù)預(yù)處理、模型選擇和調(diào)整超參數(shù))自動(dòng)化，來簡化機(jī)器學(xué)習(xí)中生成模型的過程。AutoML是指盡量不通過人來設(shè)定超參數(shù)，而是使用某種學(xué)習(xí)機(jī)制，來調(diào)節(jié)這些超參數(shù)。這些學(xué)習(xí)機(jī)制包括傳統(tǒng)的貝葉斯優(yōu)化，進(jìn)化算法，還有比較新的強(qiáng)化學(xué)習(xí)。當(dāng)我們提起AutoML時(shí)，我們更多地是說自動(dòng)化數(shù)據(jù)準(zhǔn)備(即數(shù)據(jù)的預(yù)處理，數(shù)據(jù)的生成和選擇)和模型訓(xùn)練(模型選擇和超參數(shù)調(diào)優(yōu))。這個(gè)過程的每一步都有非常多的選項(xiàng)，根據(jù)我們遇到的問題，需要設(shè)定各種不同的選項(xiàng)。

對于機(jī)器學(xué)習(xí)的新用戶而言，使用機(jī)器學(xué)習(xí)算法的一個(gè)主要的障礙就是算法的性能受許多的設(shè)計(jì)決策影響。隨著深度學(xué)習(xí)的流行，工程師需要選擇相應(yīng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)、訓(xùn)練過程、正則化方法和超參數(shù)等等，所有的這些都對算法的性能有很大的影響。于是深度學(xué)習(xí)工程師也被戲稱為調(diào)參工程師。自動(dòng)機(jī)器學(xué)習(xí)的目標(biāo)就是使用自動(dòng)化的數(shù)據(jù)驅(qū)動(dòng)方式來做出上述的決策。用戶只要提供數(shù)據(jù)，自動(dòng)機(jī)器學(xué)習(xí)系統(tǒng)自動(dòng)的決定最佳的方案。領(lǐng)域?qū)＜也辉傩枰鄲烙趯W(xué)習(xí)各種機(jī)器學(xué)習(xí)的算法。自動(dòng)機(jī)器學(xué)習(xí)不光包括大家熟知的算法選擇，超參數(shù)優(yōu)化，和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索，還覆蓋機(jī)器學(xué)習(xí)工作流的每一步。自動(dòng)機(jī)器學(xué)習(xí)的用處就在于此，它幫助研究人員和從業(yè)者自動(dòng)構(gòu)建機(jī)器學(xué)習(xí)管道，將多個(gè)步驟及其對應(yīng)的多個(gè)選項(xiàng)集成為工作流，以期快速找到針對給定問題的高性能機(jī)器學(xué)習(xí)模型。

AutoML的基本過程：虛框是配置空間，包括特征、超參數(shù)和架構(gòu);左邊訓(xùn)練數(shù)據(jù)進(jìn)入，上面的優(yōu)化器和它相連，定義的測度發(fā)現(xiàn)最佳配置，最后出來的是模型;測試數(shù)據(jù)在模型中運(yùn)行，實(shí)現(xiàn)預(yù)測的目的。

從ML角度看AutoML：從這個(gè)角度來看，AutoML本身也可以看作是一種學(xué)習(xí)工具，它對輸入數(shù)據(jù)(即E)和給定任務(wù)(即T)具有良好的泛化性能(即P)。然而，傳統(tǒng)的ML研究更多地關(guān)注發(fā)明和分析學(xué)習(xí)工具，它并不關(guān)心這些工具的使用有多容易。一個(gè)這樣的例子恰恰是從簡單模型到深度模型的最新趨勢，它可以提供更好的性能，但也很難配置。相比之下，AutoML強(qiáng)調(diào)了學(xué)習(xí)工具的易用性。

從自動(dòng)化角度看AutoML：另一方面，自動(dòng)化是使用各種控制系統(tǒng)在構(gòu)建模塊下運(yùn)行。為了更好地預(yù)測性能，ML工具的配置應(yīng)該通過輸入數(shù)據(jù)適應(yīng)任務(wù)，這通常是手動(dòng)執(zhí)行的。如圖所示，從這個(gè)角度來看，AutoML的目標(biāo)是在學(xué)習(xí)工具下構(gòu)建高級控制方法，以便在沒有人工幫助的情況下找到正確的配置。