隨著越來越多的個人、政府、企業(yè)將人工智能技術視為一種邪惡，很明顯人們需要指標來確保人工智能是一個良好“公民”。

那么如何衡量人工智能應用程序中的“邪惡”?

這可能聽起來像一個滑稽的問題，但人們應該問一下自己，將“邪惡”這個詞應用于任何一個應用程序意味著什么。而且，如果“邪惡的人工智能”是應該避免的結果，那么可以了解一下如何對其進行衡量，以便能夠證明它不存在于交付的工作產(chǎn)品中。

顯然，這對人們來說純粹是一個實驗，但只要仔細閱讀人工智能行業(yè)最近的新聞，就會感覺這個話題的嚴肅性。具體來說，人們注意到MLPerf公司最近發(fā)布了用于人工智能推理和培訓的最新版本的基準測試套件。MLPerf公司是由40個人工智能平臺供應商組成的集團，其中包括硬件、軟件、云計算服務提供商。

作為一個明確的標志，其標準基準測試正在人工智能供應商中獲得相當大的吸引力，一些廠商開始公布他們的平臺技術在這些套件下的比較情況。例如，谷歌云聲稱其用于自然語言處理和目標檢測的TPUPod在最新的MLPerf基準測試賽中打破了人工智能模型訓練的記錄。盡管只是在速度上發(fā)布基準數(shù)字，換句話說，縮短訓練特定人工智能模型以獲得特定結果所需的時間，但在未來某個不確定的時刻，可以記錄TPUPod技術在支持這些工作負載方面所帶來的規(guī)模提升和成本降低。

這其中沒有什么本質(zhì)上的“邪惡”，但它更多的是人工智能運行時執(zhí)行的基準，而不是人工智能的潛在瘋狂?？紤]到這項技術目前在社會上所面臨的疑惑，有必要衡量任何特定的人工智能舉措可能侵犯隱私、對弱勢群體造成社會經(jīng)濟偏見以及從事其他不利行為的可能性。

這些“邪惡的人工智能”指標將更多地應用于整個人工智能DevOps管道，而不是任何特定的可交付應用程序。將人工智能中的“邪惡”值進行基準測試應該歸結為按照以下方式對相關的DevOps進程進行評分：

數(shù)據(jù)敏感性：人工智能倡議是否在人工智能應用程序中對個人身份信息的訪問、使用和建模采用了一系列符合法規(guī)的控制措施?

模型可變性：人工智能開發(fā)人員是否考慮了依賴特定人工智能算法或模型(如面部識別)的下游風險，這些算法或模型的預期良性使用(如驗證用戶登錄)也可能在“雙重用途”場景中得到濫用。

算法問責制：AIDevOps流程是否使用不可變審計日志進行檢測，以確保能夠查看用于構建、培訓、部署、管理符合道德標準的應用程序的每個數(shù)據(jù)元素、模型變量、開發(fā)任務和操作流程?開發(fā)人員是否制定了程序，以確保每個AIDevOps任務、中間工作產(chǎn)品和可交付應用程序在與相關道德約束或目標的相關性方面都能以簡單語言進行解釋?

質(zhì)量保證檢查點：AIDevOps流程中是否有質(zhì)量控制檢查點，在這些流程中進行進一步的審查，以驗證是否存在可能破壞道德目標的隱藏漏洞，如有偏見的二階特征相關性。

開發(fā)人員的同理心：人工智能開發(fā)者如何徹底地將主題專家、用戶和利益相關者的道德相關反饋考慮到圍繞人工智能應用程序迭代開發(fā)的協(xié)作、測試和評估過程中?

如果這些基準定期發(fā)布，人工智能社區(qū)將大大減少該技術對社會潛在不利影響的數(shù)量。如果沒有對人工智能的DevOps過程中可能蔓延的“邪惡”數(shù)量進行基準測試，可能會加劇以下趨勢：

監(jiān)管范圍過大：人工智能經(jīng)常作為一種必要的邪惡進入公共政策討論。以這種方式接近這一主題往往會增加政府制定嚴厲規(guī)定的可能性，從而影響許多其他有前途的“雙重用途”人工智能舉措。擁有明確的清單或人工智能實踐記分卡可能正是監(jiān)管機構需要知道推薦或禁止的內(nèi)容。如果不存在這樣的基準框架，那么從社會角度來看，當行業(yè)認證計劃等替代方法可能成為最有效的人工智能風險緩解制度時，納稅人可能不得不承擔大量減少人工智能應用程序的責任和代價。

企業(yè)變得虛偽：許多企業(yè)設立了“人工智能道德”委員會，向開發(fā)人員和其他業(yè)務職能部門提供高級指導。對于人工智能開發(fā)者來說，忽視這類指導并不罕見，尤其是如果人工智能是企業(yè)展示營銷、客戶服務、銷售和其他數(shù)字業(yè)務流程結果的秘訣。那么這種狀況可能會影響企業(yè)致力于減輕人工智能負面影響的誠意。擁有人工智能道德優(yōu)化基準可能正是企業(yè)在其人工智能開發(fā)實踐中建立有效的道德護欄所需要的措施。

員工感到沮喪：一些才華橫溢的開發(fā)人員如果認為人工智能將可能導致社會道德滑坡，他們可能不愿意參與人工智能項目。如果企業(yè)中有一種人工智能持不同意見的文化，它可能會削弱其維持卓越中心和探索技術創(chuàng)新應用的能力。將人工智能實踐計分卡與廣為接受的企業(yè)公民計劃相結合，可能有助于緩解這種擔憂，從而鼓勵新一代開發(fā)人員貢獻他們的最佳工作，而不感到他們在為邪惡的目標服務。