在工業(yè)界中，數(shù)據(jù)科學(xué)或機(jī)器學(xué)習(xí)的主要焦點(diǎn)是更偏“應(yīng)用”地解決復(fù)雜的現(xiàn)實(shí)世界至關(guān)重要的問題，而不是理論上有效地應(yīng)用這些模型于正確的數(shù)據(jù)。機(jī)器學(xué)習(xí)模型本身由算法組成，該算法試圖從數(shù)據(jù)中學(xué)習(xí)潛在模式和關(guān)系，而無需硬編碼固定規(guī)則。因此，解釋模型如何對業(yè)務(wù)起作用總是會帶來一系列挑戰(zhàn)。有一些領(lǐng)域的行業(yè)，特別是在保險(xiǎn)或銀行等金融領(lǐng)域，數(shù)據(jù)科學(xué)家通常最終不得不使用更傳統(tǒng)的機(jī)器學(xué)習(xí)模型(線性或基于樹的)。原因是模型可解釋性對于企業(yè)解釋模型所采取的每個(gè)決策非常重要。

殘酷的現(xiàn)實(shí)是，如果沒有對機(jī)器學(xué)習(xí)模型或數(shù)據(jù)科學(xué)pipeline如何運(yùn)作的合理理解，現(xiàn)實(shí)中的項(xiàng)目很少成功?，F(xiàn)實(shí)中的數(shù)據(jù)科學(xué)項(xiàng)目，通常會有業(yè)務(wù)和技術(shù)兩方面。數(shù)據(jù)科學(xué)家通常致力于構(gòu)建模型并為業(yè)務(wù)提供解決方案。但是，企業(yè)可能不知道模型如何工作的復(fù)雜細(xì)節(jié)。

數(shù)據(jù)科學(xué)從業(yè)者將知道存在典型的模型可解釋性與模型性能權(quán)衡。這里需要記住的一點(diǎn)是，模型性能不是運(yùn)行或執(zhí)行性能，而是模型在決策中的準(zhǔn)確程度。有幾種模型，包括簡單的線性模型甚至是基于樹的模型，它們可以很容易地解釋模型為獲得特定的洞察力或預(yù)測而做出的決策，但是你可能需要犧牲模型性能，因?yàn)樗鼈兛偸遣荒墚a(chǎn)生最好的結(jié)果是由于高偏

差(線性模型)或高方差的固有問題，導(dǎo)致過度擬合(完全成長的樹模型)。更復(fù)雜的模型，如集合模型和深度學(xué)習(xí)模型系列通常會產(chǎn)生更好的性能，但被認(rèn)為是黑盒模型，因?yàn)楹茈y解釋模型如何真正做出決定。

理解模型可解釋性

模型解釋作為一個(gè)概念仍然主要是理論和主觀的。任何機(jī)器學(xué)習(xí)模型的核心都有一個(gè)響應(yīng)函數(shù)，它試圖映射和解釋獨(dú)立(輸入)自變量和(目標(biāo)或響應(yīng))因變量之間的關(guān)系和模式。當(dāng)模型預(yù)測或?qū)ふ乙娊鈺r(shí)，需要做出某些決定和選擇。模型解釋試圖理解和解釋響應(yīng)函數(shù)所做出的這些決定，即what，why以及how。模型解釋的關(guān)鍵是透明度，質(zhì)疑能力以及人類理解模型決策的難易程度。模型解釋的三個(gè)最重要的方面解釋如下。

是什么驅(qū)動(dòng)了模型的預(yù)測?我們應(yīng)該能夠查詢我們的模型并找出潛在的特征交互，以了解哪些特征在模型的決策策略中可能是重要的。這確保了模型的公平性。

為什么模型會做出某個(gè)決定?我們還應(yīng)該能夠驗(yàn)證并證明為什么某些關(guān)鍵特征在預(yù)測期間驅(qū)動(dòng)模型所做出的某些決策時(shí)負(fù)有責(zé)任。這確保了模型的可靠性。我們?nèi)绾涡湃文Ｐ皖A(yù)測?我們應(yīng)該能夠評估和驗(yàn)證任何數(shù)據(jù)點(diǎn)以及模型如何對其進(jìn)行決策。對于模型按預(yù)期工作的關(guān)鍵利益相關(guān)者而言，這應(yīng)該是可證明且易于理解的。這確保了模型的透明度。

在比較模型時(shí)，除了模型性能之外，如果模型的決策比其他模型的決策更容易理解，那么模型被認(rèn)為比其他模型具有更好的可解釋性。

可解釋性的重要性

在解決機(jī)器學(xué)習(xí)問題時(shí)，數(shù)據(jù)科學(xué)家往往傾向于關(guān)注模型性能指標(biāo)，如準(zhǔn)確性，精確度和召回等等。這在大多數(shù)圍繞數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的在線競賽中也很普遍。但是，指標(biāo)只能說明模型預(yù)測決策的部分故事。隨著時(shí)間的推移，由于環(huán)境中的各種因素導(dǎo)致的模型概念漂移，性能可能會發(fā)生變化。因此，了解推動(dòng)模型采取某些決策的因素至關(guān)重要。

如果一個(gè)模型工作得很好，為什么還要深入挖掘呢?在解決現(xiàn)實(shí)世界中的數(shù)據(jù)科學(xué)問題時(shí)，為了讓企業(yè)信任您的模型預(yù)測和決策，他們會不斷提出“我為什么要相信您的模型?”這一問題，這一點(diǎn)非常有意義。如果一個(gè)人患有癌癥或糖尿病，一個(gè)人可能對社會構(gòu)成風(fēng)險(xiǎn)，或者即使客戶會流失，您是否會對預(yù)測和做出決策(如果有的話)感到滿意?也許不是，如果我們能夠更多地了解模型的決策過程(原因和方式)，我們可能會更喜歡它。這使我們更加透明地了解模型為何做出某些決策，在某些情況下可能出現(xiàn)的問題，并且隨著時(shí)間的推移它有助于我們在這些機(jī)器學(xué)習(xí)模型上建立一定程度的信任。

了解預(yù)測背后的原因在評估信任方面非常重要，如果計(jì)劃基于預(yù)測采取行動(dòng)，或者選擇是否部署新模型，那么這是至關(guān)重要的。無論人類是直接使用機(jī)器學(xué)習(xí)分類器作為工具，還是在其他產(chǎn)品中部署模型，仍然存在一個(gè)至關(guān)重要的問題：如果用戶不信任模型或預(yù)測，他們就不會使用它。