（文章來(lái)源：千家網(wǎng)）

訓(xùn)練數(shù)據(jù)污染可導(dǎo)致人工智能決策錯(cuò)誤。數(shù)據(jù)投毒通過(guò)在訓(xùn)練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等破壞數(shù)據(jù)的完整性，進(jìn)而導(dǎo)致訓(xùn)練的算法模型決策出現(xiàn)偏差。

數(shù)據(jù)投毒主要有兩種攻擊方式：一種是采用模型偏斜方式，主要攻擊目標(biāo)是訓(xùn)練數(shù)據(jù)樣本，通過(guò)污染訓(xùn)練數(shù)據(jù)達(dá)到改變分類(lèi)器分類(lèi)邊界的目的。例如，模型偏斜污染訓(xùn)練數(shù)據(jù)可欺騙分類(lèi)器將特定的惡意二進(jìn)制文件標(biāo)記為良性。

另外一種是采用反饋誤導(dǎo)方式，主要攻擊目標(biāo)是人工智能的學(xué)習(xí)模型本身，利用模型的用戶反饋機(jī)制發(fā)起攻擊，直接向模型“注入”偽裝的數(shù)據(jù)或信息，誤導(dǎo)人工智能做出錯(cuò)誤判斷。隨著人工智能與實(shí)體經(jīng)濟(jì)深度融合，醫(yī)療、交通、金融等行業(yè)訓(xùn)練數(shù)據(jù)集建設(shè)需求迫切，這就為惡意、偽造數(shù)據(jù)的注入提供了機(jī)會(huì)，使得從訓(xùn)練樣本環(huán)節(jié)發(fā)動(dòng)網(wǎng)絡(luò)攻擊成為最直接有效的方法，潛在危害巨大。在自動(dòng)駕駛領(lǐng)域，數(shù)據(jù)投毒可導(dǎo)致車(chē)輛違反交通規(guī)則甚至造成交通事故；在軍事領(lǐng)域，通過(guò)信息偽裝的方式可誘導(dǎo)自主性武器啟動(dòng)或攻擊，從而帶來(lái)毀滅性風(fēng)險(xiǎn)。

運(yùn)行階段的數(shù)據(jù)異常可導(dǎo)致智能系統(tǒng)運(yùn)行錯(cuò)誤。一是人為構(gòu)造對(duì)抗樣本攻擊，導(dǎo)致智能系統(tǒng)產(chǎn)生錯(cuò)誤的決策結(jié)果。人工智能算法模型主要反映了數(shù)據(jù)關(guān)聯(lián)性和特征統(tǒng)計(jì)，而沒(méi)有真正獲取數(shù)據(jù)因果關(guān)系。針對(duì)算法模型這一缺陷，對(duì)抗樣本通過(guò)對(duì)數(shù)據(jù)輸入樣例添加難以察覺(jué)的擾動(dòng)，使算法模型以高置信度給出一個(gè)錯(cuò)誤的輸出。對(duì)抗樣本攻擊可實(shí)現(xiàn)逃避檢測(cè)，例如在生物特征識(shí)別應(yīng)用場(chǎng)景中，對(duì)抗樣本攻擊可欺騙基于人工智能技術(shù)的身份鑒別、活體檢測(cè)系統(tǒng)。

2019年4月，比利時(shí)魯汶大學(xué)研究人員發(fā)現(xiàn)，借助一張?jiān)O(shè)計(jì)的打印圖案就可以避開(kāi)人工智能視頻監(jiān)控系統(tǒng)。二是動(dòng)態(tài)環(huán)境的非常規(guī)輸入可導(dǎo)致智能系統(tǒng)運(yùn)行錯(cuò)誤。人工智能決策嚴(yán)重依賴訓(xùn)練數(shù)據(jù)特征分布性和完備性，人工標(biāo)記數(shù)據(jù)覆蓋不全、訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)同質(zhì)化等塬因常常導(dǎo)致人工智能算法泛化能力差，智能系統(tǒng)在動(dòng)態(tài)環(huán)境實(shí)際使用中決策可能出現(xiàn)錯(cuò)誤。特斯拉汽車(chē)自動(dòng)駕駛系統(tǒng)曾因無(wú)法識(shí)別藍(lán)天背景下的白色貨車(chē)，致使發(fā)生致命交通事故。

模型竊取攻擊可對(duì)算法模型的數(shù)據(jù)進(jìn)行逆向還塬。人工智能算法模型的訓(xùn)練過(guò)程依托訓(xùn)練數(shù)據(jù)，并且在運(yùn)行過(guò)程中會(huì)進(jìn)一步采集數(shù)據(jù)進(jìn)行模型優(yōu)化，相關(guān)數(shù)據(jù)可能涉及到隱私或敏感信息，所以算法模型的機(jī)密性非常重要。但是，算法模型在部署應(yīng)用中需要將公共訪問(wèn)接口發(fā)布給用戶使用，攻擊者可通過(guò)公共訪問(wèn)接口對(duì)算法模型進(jìn)行黑盒訪問(wèn)，依據(jù)輸入信息和輸出信息映射關(guān)系，在沒(méi)有算法模型任何先驗(yàn)知識(shí)（訓(xùn)練數(shù)據(jù)、模型參數(shù)等）情況下，構(gòu)造出與目標(biāo)模型相似度非常高的模型，實(shí)現(xiàn)對(duì)算法模型的竊取，進(jìn)而還塬出模型訓(xùn)練和運(yùn)行過(guò)程中的數(shù)據(jù)以及相關(guān)隱私信息。

新加坡國(guó)立大學(xué)RezaShokri等針對(duì)機(jī)器學(xué)習(xí)模型的隱私泄露問(wèn)題，提出了一種成員推理攻擊，在對(duì)模型參數(shù)和結(jié)構(gòu)知之甚少的情況下，可以推斷某一樣本是否在模型的訓(xùn)練數(shù)據(jù)集中。

人工智能開(kāi)源學(xué)習(xí)框架實(shí)現(xiàn)了基礎(chǔ)算法的模塊化封裝，可以讓?xiě)?yīng)用開(kāi)發(fā)人員無(wú)需關(guān)注底層實(shí)現(xiàn)細(xì)節(jié)，大大提高了人工智能應(yīng)用的開(kāi)發(fā)效率。谷歌、微軟、亞馬遜、臉書(shū)等企業(yè)都發(fā)布了自己的人工智能學(xué)習(xí)框架，在全球得到廣泛應(yīng)用。但是，人工智能開(kāi)源學(xué)習(xí)框架集成了大量的第叁方軟件包和依賴庫(kù)資源，相關(guān)組件缺乏嚴(yán)格的測(cè)試管理和安全認(rèn)證，存在未知安全漏洞。近年來(lái)，360、騰訊等企業(yè)安全團(tuán)隊(duì)曾多次發(fā)現(xiàn)TensorFlow、Caffe、Torch等深度學(xué)習(xí)框架及其依賴庫(kù)的安全漏洞，攻擊者可利用相關(guān)漏洞篡改或竊取人工智能系統(tǒng)數(shù)據(jù)。