有一些特定的標準可用于分類模型解釋方法。Christoph Molnar在2018年“可解釋的機器學習，制作黑箱模型可解釋指南”中提到了一個很好的指南。

內(nèi)在還是事后?內(nèi)在可解釋性就是利用機器學習模型，該模型本質(zhì)上是可解釋的(如線性模型，參數(shù)模型或基于樹的模型)。事后可解釋性意味著選擇和訓練黑匣子模型(集合方法或神經(jīng)網(wǎng)絡(luò))并在訓練后應(yīng)用可解釋性方法(特征重要性，部分依賴性圖)。我們將更多地關(guān)注我們系列文章中的事后模型可解釋方法。

模型特定或模型不可知?特定于模型的解釋工具非常特定于內(nèi)在模型解釋方法，這些方法完全依賴于每個模型的功能和特征。這可以是系數(shù)，p值，與回歸模型有關(guān)的AIC分數(shù)，來自決策樹的規(guī)則等等。與模型無關(guān)的工具與事后方法更相關(guān)，可用于任何機器學習模型。這些不可知方法通常通過分析(和輸入的擾動)特征輸入和輸出對來操作。根據(jù)定義，這些方法無法訪問任何模型內(nèi)部，如權(quán)重，約束或假設(shè)。

本地還是全局?這種解釋分類討論了解釋方法是解釋單個預測還是整個模型行為?或者如果范圍介于兩者之間?我們將很快談?wù)撊蚝偷胤降慕忉尅?

可解釋性的范圍

如何定義可解釋性的范圍和界限?一些有用的方面可以是模型的透明度、公平性和責任性。全局和局部模型解釋是定義模型解釋范圍的明確方法。

全局可解釋：就是試圖理解“模型如何進行預測”和“模型的子集如何影響模型決策”。要立即理解和解釋整個模型，我們需要全局可解釋性。全局可解釋性是指能夠基于完整數(shù)據(jù)集上的依賴(響應(yīng))變量和獨立(預測變量)特征之間的條件交互來解釋和理解模型決策。嘗試理解特征交互和重要性始終是理解全球解釋的一個很好的一步。當然，在嘗試分析交互時，在超過兩維或三維之后可視化特征變得非常困難。因此，經(jīng)常查看可能影響全局知識模型預測的模塊化部分和特征子集會有所幫助。全局解釋需要完整的模型結(jié)構(gòu)，假設(shè)和約束知識。

局部解釋：試圖理解“為什么模型為單個實例做出具體決策?”和“為什么模型為一組實例做出具體決策?”。對于本地可解釋性，我們不關(guān)心模型的固有結(jié)構(gòu)或假設(shè)，我們將其視為黑盒子。為了理解單個數(shù)據(jù)點的預測決策，我們專注于該數(shù)據(jù)點并查看該點周圍的特征空間中的局部子區(qū)域，并嘗試基于該局部區(qū)域理解該點的模型決策。本地數(shù)據(jù)分布和特征空間可能表現(xiàn)完全不同，并提供更準確的解釋而不是全局解釋。局部可解釋模型-不可知解釋(LIME)框架是一種很好的方法，可用于模型不可知的局部解釋。我們可以結(jié)合使用全局和局部解釋來解釋一組實例的模型決策。

模型透明度：為試圖理解“如何根據(jù)算法和特征創(chuàng)建模型?”。我們知道，通常機器學習模型都是在數(shù)據(jù)特征之上利用算法來構(gòu)建將輸入映射到潛在輸出(響應(yīng))的表示。模型的透明度可能試圖了解模型的構(gòu)建方式以及可能影響其決策的更多技術(shù)細節(jié)。這可以是神經(jīng)網(wǎng)絡(luò)的權(quán)重，CNN濾波器的權(quán)重，線性模型系數(shù)，決策樹的節(jié)點和分裂。但是，由于業(yè)務(wù)可能不太精通這些技術(shù)細節(jié)，因此嘗試使用不可知的局部和全局解釋方法來解釋模型決策有助于展示模型透明度。

可解釋性的作用

對于想要了解模型如何工作的數(shù)據(jù)科學家來說，評估模型的準確性通常是不夠的。數(shù)據(jù)科學家通常想知道模型輸入變量如何工作以及模型的預測如何根據(jù)輸入變量的值而變化。

機器學習算法和模型的工程應(yīng)用中用到最多的主要是樹類模型(lgb,xgb)和神經(jīng)網(wǎng)絡(luò)(cnn,rnn)，使用者往往習慣于很少去思考其中的含義和解釋性。需要思考一個模型的哪些東西是可解釋的，所以有幾個問題值得討論：

哪些特征在模型看到是最重要的?

關(guān)于某一條記錄的預測，每一個特征是如何影響到最終的預測結(jié)果的?

從大量的記錄整體來考慮，每一個特征如何影響模型的預測的?

這些解釋信息的作用如下：

?調(diào)試模型：一般的真實業(yè)務(wù)場景會有很多不可信賴的，沒有組織好的臟數(shù)據(jù)。你在預處理數(shù)據(jù)時就有可能加進來了潛在的錯誤，或者不小心泄露了預測目標的信息等，考慮各種潛在的災(zāi)難性后果，debug的思路就尤其重要了。當你遇到了用現(xiàn)有業(yè)務(wù)知識無法解釋的數(shù)據(jù)的時候，了解模型預測的模式，可以幫助你快速定位問題。

?指導工程師做特征工程：特征工程通常是提升模型準確率最有效的方法。特征工程通常涉及到到反復的操作原始數(shù)據(jù)(或者之前的簡單特征)，用不同的方法來得到新的特征。有時候你完成FE的過程只用到了自己的直覺。這其實還不夠，當你有上百個原始特征的時候，或者當你缺乏業(yè)務(wù)背景知識的時候，你將會需要更多的指導方向。如何創(chuàng)造出

這樣優(yōu)秀的特征呢?如何找到最重要的特征的方法，并且可以發(fā)現(xiàn)兩個特別相關(guān)的特征，當面對越來越多的特征的時候，這些方法就會很重要了。

?指導數(shù)據(jù)采集的方向：對于網(wǎng)上下載的數(shù)據(jù)集你完全控制不了。不過很多公司和機構(gòu)用數(shù)據(jù)科學來指導他們從更多方面收集數(shù)據(jù)。一般來說，收集新數(shù)據(jù)很可能花費比較高或者不是很容易，所以大家很想要知道哪些數(shù)據(jù)是值得收集的?；谀Ｐ偷亩床炝Ψ治隹梢越棠愫芎玫睦斫庖延械奶卣?，這將會幫助你推斷什么樣子的新特征是有用的。

?指導人們做決策：一些決策是模型自動做出來的，雖然亞馬遜不會用人工來決定展示給你網(wǎng)頁上的商品，但是很多重要的決策是由人來做出的，而對于這些決定，模型的洞察力會比模型的預測結(jié)果更有價值。

?建立模型和人之間的信任：很多人在做重要決策的時候不會輕易地相信模型，除非他們驗證過模型的一些基本特性，這當然是合理的。實際上，把模型的可解釋性展示出來，如果可以匹配上人們對問題的理解，那么這將會建立起大家對模型的信任，即使是在那些沒有數(shù)據(jù)科學知識的人群中。