對(duì)許多組織而言，由于缺乏透明度，人工智能仍然是謎團(tuán)重重，人們不敢將其投入生產(chǎn)中。但是需求，進(jìn)步和新興的標(biāo)準(zhǔn)可能很快會(huì)改變這一切。

就利用人工智能和機(jī)器學(xué)習(xí)而言，人們對(duì)結(jié)果的信任是很重要的。由于所謂的人工智能“黑匣子”問(wèn)題，許多組織（尤其是那些受管制的行業(yè)的組織）可能會(huì)猶豫不決，不敢使用人工智能系統(tǒng)：算法只是得出模糊的決策而沒(méi)有解釋其所遵循的理由。

這是一個(gè)顯而易見(jiàn)的問(wèn)題。如果我們不知道人工智能如何發(fā)揮作用，那我們又如何將醫(yī)療診斷或自動(dòng)駕駛汽車(chē)等領(lǐng)域里生死攸關(guān)的決策交給人工智能來(lái)做？

這個(gè)問(wèn)題的中心是神話(huà)所籠罩的技術(shù)問(wèn)題。如今，人們普遍認(rèn)為，人工智能技術(shù)已經(jīng)變得如此復(fù)雜，以至于系統(tǒng)無(wú)法解釋為何做出自己的決定。即使可以，解釋也太復(fù)雜了，以至于我們的大腦無(wú)法理解。

現(xiàn)實(shí)情況是，當(dāng)今在機(jī)器學(xué)習(xí)和人工智能系統(tǒng)中使用的許多最常見(jiàn)的算法都可以?xún)?nèi)建所謂的“可解釋性”。我們只是沒(méi)有在使用它——或者我們無(wú)法訪問(wèn)它。對(duì)其它算法來(lái)說(shuō)，人們還在開(kāi)發(fā)可解釋性和可追溯性功能，但我們很快就能用上了。

在本文中，你將找到可解釋的人工智能的含義，它為什么對(duì)商業(yè)用途來(lái)說(shuō)很重要，以及哪些力量在推動(dòng)人們采用人工智能，以及哪些因素阻礙了人工智能的應(yīng)用。

為什么可解釋的人工智能很重要

畢馬威（KPMB）和Forrester Research去年發(fā)布的報(bào)告顯示，只有21%的美國(guó)高管高度信任這兩家公司的分析。畢馬威（KPMG）的新興技術(shù)風(fēng)險(xiǎn)的全球負(fù)責(zé)人Martin Sokalski表示：“這些高管不僅相信我們對(duì)人工智能所做的分析——而且相信我們所做的所有分析。

Sokalski說(shuō)，由于人們對(duì)分析缺乏信任，人工智能的采用漸漸放緩，尤其是各大公司對(duì)人工智能進(jìn)行大規(guī)模部署的速度放緩。

Sokalski說(shuō)：“雖然你讓聰明的數(shù)據(jù)科學(xué)家想出這些令人驚嘆的模型，但是他們卻沒(méi)有施展空間，因?yàn)槠髽I(yè)領(lǐng)導(dǎo)者不信任也不了解這些模型。我不會(huì)在任何會(huì)使我不斷與監(jiān)管機(jī)構(gòu)打交道的模型部署到這些流程中，也不會(huì)使讓我登上頭條新聞的模型部署到這些流程中。”

要考慮監(jiān)管審查的可不光是醫(yī)療和金融服務(wù)行業(yè)。《通用數(shù)據(jù)保護(hù)條例（GDPR）》稱(chēng)，所有公司都必須向客戶(hù)解釋為什么自動(dòng)化系統(tǒng)會(huì)做出決定。

此外，由于無(wú)法分析算法如何得出結(jié)論，因此各大公司在業(yè)務(wù)可能上線時(shí)不得不盲目相信人工智能系統(tǒng)的建議。

例如，零售公司Bluestem Brands正在使用人工智能提供定制化的購(gòu)物建議。但是，如果人工智能系統(tǒng)推薦的商品不是有據(jù)可考的暢銷(xiāo)物品，或者與銷(xiāo)售專(zhuān)家的直覺(jué)不符怎么辦？

Bluestem Brands的IT主管Jacob Wagner說(shuō)：“人們往往會(huì)說(shuō)，‘不，這個(gè)人工智能壞了，我們應(yīng)該推薦最暢銷(xiāo)的褲子?！?/p>

解決這些信任危機(jī)的方案是提供一個(gè)解釋。人工智能系統(tǒng)在提出建議時(shí)使用了哪些因素？這就是可解釋的人工智能該出現(xiàn)的場(chǎng)合——人們?cè)絹?lái)越需要這樣的功能。

可解釋的人工智能包含了各種各樣的工具和技術(shù)，這些工具和技術(shù)旨在使具備領(lǐng)域?qū)ｉL(zhǎng)的人更容易理解人工智能系統(tǒng)的最終解決方案?？山忉尩娜斯ぶ悄苁谷藗兡軌騾⑴c決策過(guò)程，從而使人們更加信任這些系統(tǒng)并對(duì)這些結(jié)果高度負(fù)責(zé)。這往往相當(dāng)于輸出人工智能通過(guò)培訓(xùn)所學(xué)會(huì)的規(guī)則，并使人類(lèi)可以對(duì)這些規(guī)則進(jìn)行審計(jì)，從而了解人工智能如何從未來(lái)的數(shù)據(jù)中得出結(jié)論，這些數(shù)據(jù)的范圍超出了數(shù)據(jù)集。

Wagner說(shuō)，就Bluestem Brands而言，他能夠從Lucidworks提供的當(dāng)前系統(tǒng)中獲得大約85%的解釋?zhuān)Ｍ吹礁嗟慕忉尅?/p>

Wagner說(shuō)：“使人們克服信任障礙是很難的。推薦某物的理由是什么？——我們對(duì)此所有用的信息越多，越容易有這樣的體會(huì)?！?/p>

治理問(wèn)題

如今，企業(yè)使用的大部分人工智能都是基于統(tǒng)計(jì)分析的。這些機(jī)器學(xué)習(xí)算法的用途廣泛，如改善購(gòu)物建議、搜索結(jié)果、計(jì)算信用風(fēng)險(xiǎn)、發(fā)現(xiàn)計(jì)算機(jī)網(wǎng)絡(luò)中的可疑行為等等。

為了提出建議，這些算法分析了特定的特征、數(shù)據(jù)字段、因素或在行業(yè)中被稱(chēng)為功能的東西。每個(gè)功能都具有特定的權(quán)重，這些權(quán)重有助于人工智能將事物歸類(lèi)或發(fā)現(xiàn)異常。因此，例如，在確定某動(dòng)物是貓還是狗時(shí)，算法可能會(huì)以動(dòng)物的體重為主要因素，然后是動(dòng)物的大小，最后是顏色。

因此，了解決定因素是一個(gè)簡(jiǎn)單的過(guò)程。但是各大公司尚未將與決策相關(guān)的因素列為工作重點(diǎn)。

畢馬威的Sokalski說(shuō)：“我們注意到的主要趨勢(shì)之一是企業(yè)缺乏對(duì)人工智能的內(nèi)部治理和高效管理。我們發(fā)現(xiàn)，只有25%的公司正在投資開(kāi)發(fā)控制框架和方法?！?/p>

Sokalski說(shuō)，這是商業(yè)流程成熟度的問(wèn)題，而不是技術(shù)問(wèn)題?！捌浔举|(zhì)就是在整個(gè)生命周期中構(gòu)建內(nèi)部功能，端到端治理以及人工智能的端到端管理。”

可解釋的人工智能的現(xiàn)狀

Sokalski說(shuō)，所有主要的人工智能平臺(tái)供應(yīng)商以及大多數(shù)頂級(jí)開(kāi)源人工智能項(xiàng)目都內(nèi)置了某種形式的可解釋性和可審計(jì)性。

畢馬威（KMPG）一直在與其中一家供應(yīng)商（即IBM）合作，開(kāi)發(fā)屬于自己的一系列工具，（即AI in Control）供客戶(hù)使用。這樣的框架使公司更容易開(kāi)發(fā)具備內(nèi)置解釋性的人工智能系統(tǒng)，而不必將各種開(kāi)源項(xiàng)目的功能拼湊在一起。

8月，IBM發(fā)布了自己的工具集AI Explainability 360，該工具集包含開(kāi)源算法，可用于當(dāng)今使用的所有主要類(lèi)型的機(jī)器學(xué)習(xí)的可解釋性，但不包含常用于時(shí)間序列問(wèn)題（如股市預(yù)測(cè)之類(lèi)的問(wèn)題）的遞歸神經(jīng)網(wǎng)絡(luò)。

該工具集中有八種算法，其中大多數(shù)尚未以可用代碼的形式公開(kāi)提供?；A(chǔ)研究在今年或2018年才公布。IBM的首席研究人員兼IBMThomas J.Watson研究中心的經(jīng)理Kush Varshney這樣說(shuō)道，

Varshney說(shuō)：“任何人都可以使用該工具集，不管他們是不是IBM的客戶(hù)?！?/p>

Varshney警告說(shuō)，但是向人工智能系統(tǒng)添加可解釋性并不像提供決定所用因素的列表那么簡(jiǎn)單?！敖忉尩姆椒至挚偪??！?/p>

例如，做出有關(guān)是否向某人提供銀行貸款的決定。Varshney說(shuō)，客戶(hù)想知道為什么自己的申請(qǐng)?jiān)獾骄芙^，以及怎樣才能增加將來(lái)獲得貸款的機(jī)會(huì)。

Varshney說(shuō)：“監(jiān)管機(jī)構(gòu)不會(huì)太在乎每個(gè)申請(qǐng)人。他們希望查看整個(gè)決策過(guò)程，希望整體上解釋過(guò)程的運(yùn)作機(jī)制。他們希望就如何做出決策并找出是否存在問(wèn)題（如公平性或其它潛在問(wèn)題）而為所有輸入做出模擬?！?/p>

Varshney補(bǔ)充說(shuō)，對(duì)銀行來(lái)說(shuō)，要確保系統(tǒng)做出準(zhǔn)確的預(yù)測(cè)，它們將面臨截然不同的問(wèn)題。

解釋神經(jīng)網(wǎng)絡(luò)

隨著人工智能系統(tǒng)變得更加先進(jìn)并且對(duì)預(yù)先定義的功能和權(quán)重的依賴(lài)減少，解釋也變得更加困難。舉例來(lái)說(shuō)，對(duì)貓和狗進(jìn)行分類(lèi)的系統(tǒng)不是根據(jù)一組列表的數(shù)據(jù)點(diǎn)進(jìn)行處理，而是對(duì)動(dòng)物的照片進(jìn)行處理。

卷積神經(jīng)網(wǎng)絡(luò)通常用于圖像處理，它會(huì)查看訓(xùn)練數(shù)據(jù)并自行發(fā)現(xiàn)重要特征。這些功能以非常復(fù)雜的形式出現(xiàn)，即涉及十分復(fù)雜的數(shù)學(xué)計(jì)算。

Varshney說(shuō)：“如果你有一個(gè)非常復(fù)雜的黑匣子模型，該模型具有所有這些功能并以數(shù)百萬(wàn)種方式加以組合，那么人類(lèi)將無(wú)法理解?！?/p>

由于特定像素之間的復(fù)雜關(guān)系而將圖片判定為貓而不是狗，這就像甲因其大腦中的特定神經(jīng)元在特定時(shí)間放電而告訴乙這是貓一樣無(wú)濟(jì)于事。但是，Varshney說(shuō)，人們?nèi)匀豢梢酝ㄟ^(guò)進(jìn)行更高級(jí)別的抽象來(lái)使系統(tǒng)具有可解釋性。

Varshney說(shuō)：“你可以找到在語(yǔ)義上有意義的表征形式。例如，如果這是貓的圖像，人工智能將發(fā)現(xiàn)胡須、鼻子的形狀和眼睛的顏色都是重要的特征。”

然后，為了解釋決策，人工智能可以在照片中突出顯示表明這是貓的那些地方，或顯示貓的典型圖像的對(duì)比照片。

Varshney說(shuō)：“這確實(shí)是增強(qiáng)人們對(duì)系統(tǒng)信任的一種方式。如果人們能夠理解這些事物的運(yùn)作邏輯，那么他們就可以對(duì)系統(tǒng)的使用充滿(mǎn)信心?！?/p>

這正是馬薩諸塞州綜合醫(yī)院和百靈達(dá)婦女醫(yī)院臨床數(shù)據(jù)科學(xué)中心的執(zhí)行主任Mark Michalski所采取的方法。

醫(yī)院使用人工智能在放射圖像中發(fā)現(xiàn)癌癥。醫(yī)務(wù)人員必須對(duì)系統(tǒng)有高度的信任才能使用人工智能。為了解決這個(gè)問(wèn)題，醫(yī)療提供商不僅會(huì)得到掃描圖是否表明患者是否得了癌癥的非此即彼的答案，還會(huì)得到解釋。

“你可以在圖像上面覆蓋若干熱圖，以此來(lái)解釋機(jī)器為何會(huì)盯著某個(gè)位置看，” Michalski這樣說(shuō)道。

專(zhuān)有系統(tǒng)和勉為其難的供應(yīng)商

完全透明并不總是對(duì)每個(gè)人都有利。對(duì)某些人工智能供應(yīng)商而言，公開(kāi)人工智能決策方式的細(xì)節(jié)無(wú)異于公開(kāi)秘密。

數(shù)字服務(wù)咨詢(xún)公司Nerdery的數(shù)據(jù)科學(xué)總監(jiān)JusTIn Richie表示：“這些軟件公司有點(diǎn)自私，它們認(rèn)為所有人都圖謀不軌，都想竊取它們的點(diǎn)子。有些供應(yīng)商之所以讓客戶(hù)走馬觀花是因?yàn)檫@樣他們就不會(huì)暴露自己的權(quán)重?cái)?shù)據(jù)。而其它供應(yīng)商則直接在其工具中展示可解釋性?！?/p>

Richie補(bǔ)充說(shuō)，與其說(shuō)這是技術(shù)限制不如說(shuō)這是市場(chǎng)問(wèn)題。隨著人工智能技術(shù)變得司空見(jiàn)慣，游戲規(guī)則也會(huì)發(fā)生改變。

制造由人工智能驅(qū)動(dòng)的聊天機(jī)器人的LivePerson的首席技術(shù)官Alex Spinelli說(shuō)，商用的現(xiàn)成算法往往缺乏關(guān)鍵的可解釋性功能。

Spinelli說(shuō)：“有些更好的產(chǎn)品確實(shí)具有檢查和審計(jì)功能，但并非全部產(chǎn)品?？晒﹨⒖嫉臉?biāo)準(zhǔn)并不多?？蓪徲?jì)性、可追溯性以及就人工智能為何做出決策的原因而對(duì)算法進(jìn)行查詢(xún)的能力，這些都是罕見(jiàn)的功能?！?/p>

Spinelli說(shuō)，LivePerson編寫(xiě)自己的具備可解釋性的算法，或者使用具備這些功能的開(kāi)源工具，例如百度的Ernie和谷歌的Bert開(kāi)源自然語(yǔ)言處理算法。

人工智能標(biāo)準(zhǔn)越來(lái)越多

Spinelli說(shuō)，但是業(yè)界正在極力使人工智能系統(tǒng)更加透明。例如，LivePerson參與了EqualAI計(jì)劃，致力于通過(guò)制定準(zhǔn)則，標(biāo)準(zhǔn)和工具來(lái)預(yù)防和糾正人工智能中的偏見(jiàn)。

現(xiàn)有的標(biāo)準(zhǔn)機(jī)構(gòu)也一直在努力解決這些問(wèn)題。例如，紅帽（Red Hat）的業(yè)務(wù)自動(dòng)化開(kāi)發(fā)經(jīng)理Edson TIrelli說(shuō)，紅帽正在使用旨在幫人工智能和機(jī)器學(xué)習(xí)系統(tǒng)提高透明度的多個(gè)標(biāo)準(zhǔn)。

TIrelli說(shuō)：“這些標(biāo)準(zhǔn)有助于‘打開(kāi)黑匣子’。”

其中一個(gè)標(biāo)準(zhǔn)來(lái)自O(shè)bject Management Group的決策模型和注釋?zhuān)―ecision Model and NotaTIon）標(biāo)準(zhǔn)。

Tirelli說(shuō)，這個(gè)相對(duì)較新的標(biāo)準(zhǔn)有助于填補(bǔ)空白，即人們?cè)诶斫夤緵Q策過(guò)程中所涉及的一切步驟。“你可以跟蹤該決策或業(yè)務(wù)流程的每個(gè)步驟，一直到人工智能部分?！?/p>

這些標(biāo)準(zhǔn)還使在供應(yīng)商平臺(tái)之間遷移流程和模型變得更加容易。但是除了紅帽之外，只有少數(shù)公司支持決策模型和注釋。

Tirelli補(bǔ)充說(shuō)，Object Management Group的商業(yè)流程模型和注釋標(biāo)準(zhǔn)得到了數(shù)百家供應(yīng)商的支持。

Tirelli說(shuō)：“幾乎所有的工具都支持這個(gè)標(biāo)準(zhǔn)，或同級(jí)標(biāo)準(zhǔn)，即分析的可移植格式（Portable Format for Analytics）。大體上所有可以創(chuàng)建機(jī)器學(xué)習(xí)模型的工具都支持該標(biāo)準(zhǔn)。”

Tirelli說(shuō)，這些標(biāo)準(zhǔn)相互聯(lián)系，為可解釋的人工智能提供功能。

前緣地帶

帕洛阿爾托研究中心（PARC）的研究人員Mark Stefik表示，隨著人工智能用于執(zhí)行更復(fù)雜的任務(wù)，可解釋性越來(lái)越難實(shí)現(xiàn)。

Stefik說(shuō)：“如果理由給出5000條規(guī)則，那將無(wú)濟(jì)于事?！?/p>

例如，帕洛阿爾托研究中心一直在為國(guó)防高級(jí)研究計(jì)劃局（DARPA）做一個(gè)項(xiàng)目，該項(xiàng)目包括對(duì)用于護(hù)林員救援任務(wù)的無(wú)人機(jī)進(jìn)行訓(xùn)練。對(duì)簡(jiǎn)單的任務(wù)而言，要知道何時(shí)信任該系統(tǒng)，比要知道在復(fù)雜的山區(qū)或沙漠場(chǎng)景中的專(zhuān)家級(jí)任務(wù)要容易得多。

Stefik說(shuō)：“我們?cè)谶@方面取得了很大進(jìn)展，但我不認(rèn)為我們對(duì)所有類(lèi)型的人工智能都有解釋性?！?/p>

最后的挑戰(zhàn)，也是最困難的挑戰(zhàn)，即常識(shí)。

滑鐵盧大學(xué)人工智能領(lǐng)域的加拿大研究主席Alexander Wong說(shuō)：“因果推理可望而不可及，這就是我和其他人努力的方向?！?/p>

Stefik說(shuō)，如今，計(jì)算機(jī)系統(tǒng)很難將關(guān)聯(lián)性和因果關(guān)系區(qū)分開(kāi)來(lái)。鬧鐘的響聲會(huì)導(dǎo)致太陽(yáng)升起嗎？

Stefik說(shuō)：“我們想找到將虛假的關(guān)聯(lián)性與真實(shí)的因果關(guān)系區(qū)分開(kāi)來(lái)的方法。甚至訓(xùn)練人來(lái)做正確的因果推理也是很難的。這是一個(gè)非常困難的問(wèn)題。”

Stefik說(shuō)，這種通過(guò)一系列因果關(guān)系進(jìn)行思考的能力是人們談?wù)撏ㄓ萌斯ぶ悄軙r(shí)所談?wù)摰膬?nèi)容。

Wong補(bǔ)充說(shuō)：“我們?cè)谶@個(gè)方向上取得了不錯(cuò)的進(jìn)展。但是，如果我不得不猜測(cè)的話(huà)，我會(huì)說(shuō)，因果推理的最終形式將在一個(gè)時(shí)限內(nèi)實(shí)現(xiàn)?！?/p>

但是，即使可解釋的人工智能仍處于起步階段，這并不意味著公司應(yīng)該被動(dòng)等待。

Wong說(shuō)：“即使在目前的形式中，可解釋性對(duì)許多商業(yè)流程仍然非常有用。如果你現(xiàn)在就開(kāi)始使用這個(gè)形式，那么你所創(chuàng)建的系統(tǒng)將很超前，并且更加公平。談到負(fù)責(zé)任的人工智能時(shí)，我的核心信念之一是，可解釋性和透明性是人工智能的關(guān)鍵組成部分?！?/p>