雖然人工智能正給人類生活帶來翻天覆地的變化，但是，很多人并未考慮到人工智能也存在諸多安全隱患，尤其是其核心的深度學習技術更是面臨著眾多潛在威脅。隨著深度學習應用越來越廣泛，越來越多的安全問題也開始暴露出來。

日前，360安全研究院結合過去一年對深度學習系統(tǒng)安全性的詳細研究，出具了《AI安全風險白皮書》，白皮書指出：深度學習框架中的軟件實現(xiàn)漏洞、對抗機器學習的惡意樣本生成、訓練數(shù)據(jù)的污染等可能導致人工智能所驅動的識別系統(tǒng)出現(xiàn)混亂，形成漏判或者誤判，甚至導致系統(tǒng)崩潰或被劫持，并可以使智能設備變成僵尸攻擊工具。

圖1：谷歌AlphaGo圍棋功力驚艷全球

近年來，以谷歌AlphaGo為代表的人工智能技術驚艷了世人眼球。大家都為人工智能高超的運算能力和縝密的邏輯判斷所驚呆。不過，一個事實卻是：AlphaGo的深度學習技術只是在封閉的環(huán)境下工作，并不與外界直接交互，因此它面臨的安全威脅相對較小。此外，其他受到關注的應用往往假定處于善意的或封閉的場景，例如高準確率的語音識別中的輸入都是自然采集而成，圖片識別中的輸入也都來自正常拍攝的照片，這些討論沒有考慮認為惡意構造或合成的場景。

以人工智能中最典型的手寫數(shù)字識別為例：基于MNIST數(shù)據(jù)集的手寫數(shù)字識別應用是深度學習的一個非常典型例子，其算法層所討論的分類結果只關心特定類別的近似度和置信概率區(qū)間，沒有考慮輸入會導致程序崩潰甚至被攻擊者劫持控制流。這其中被忽略掉的輸出結果反映出算法和實現(xiàn)上考慮問題的差距，也就是所謂的人工智能安全盲點。

圖2：深度學習算法與安全所考慮的不同輸出場景

目前，已開發(fā)的深度學習軟件基本都實現(xiàn)在深度學習框架上。應用開發(fā)人員可直接在框架上構建自己的神經(jīng)元網(wǎng)絡模型，并利用框架提供的接口對模型進行訓練。但是，這種框架雖然簡化了深度學習應用的設計和開發(fā)難度，但是也因為系統(tǒng)的復雜程度而暗藏風險。

一個頗為尷尬的事實就是，只要深度學習框架以及它所依賴的任一組件存在漏洞，建立在框架上的應用系統(tǒng)也會隨之遭到威脅。另外模塊往往來自不同的開發(fā)者，對模塊間的接口經(jīng)常有不同的理解。當這種不一致導致安全問題時，模塊開發(fā)者甚至會認為是其他模塊調用不合規(guī)范而不是自己的問題。

圖3：深度學習框架以及框架組件依賴

為了掌握深度學習軟件存在的安全隱患，360 Team Seri0us 團隊在一個月內(nèi)發(fā)現(xiàn)了數(shù)十個深度學習框架及其依賴庫中的軟件漏洞，包含了幾乎所有常見的漏洞類型，例如內(nèi)存訪問越界，空指針引用，整數(shù)溢出，除零異常等。這些漏洞一旦被不法分子利用，就可能導致深度學習應用面臨拒絕服務、控制流挾持、分類逃逸以及潛在的數(shù)據(jù)污染攻擊等風險。

因此，在推進人工智能技術應用的同時，我們更要著眼于解決其中存在的安全隱患，使技術更好地為人類的服務。作為國內(nèi)最大的互聯(lián)網(wǎng)安全公司，未來360將致力于幫助行業(yè)及廠商解決人工智能的安全問題，提升整個人工智能行業(yè)的安全系數(shù)。