360AI安全風(fēng)險(xiǎn)白皮書(shū)：小心深度學(xué)習(xí)逃逸攻擊

2017以來(lái)，人工智能的興起讓“深度學(xué)習(xí)”這個(gè)詞頻繁出現(xiàn)在公眾視野。有了深度學(xué)習(xí)算法，機(jī)器也能夠模擬人類的思考方式，自主獲取知識(shí)，修習(xí)技能，完成很多常人無(wú)法完成的任務(wù)。但是作為一種新興技術(shù)，深度學(xué)習(xí)算法自身仍存在很多安全缺陷和漏洞。近日360安全研究院發(fā)布的《AI安全風(fēng)險(xiǎn)白皮書(shū)》結(jié)合深度學(xué)習(xí)逃逸攻擊方面的實(shí)例和研究工作，詳細(xì)解讀了人工智能應(yīng)用所面臨的安全風(fēng)險(xiǎn)。

“逃逸攻擊”是一個(gè)專業(yè)術(shù)語(yǔ)，它指的是攻擊者在不改變目標(biāo)機(jī)器學(xué)習(xí)系統(tǒng)的情況下，通過(guò)構(gòu)造特定輸入樣本以完成欺騙目標(biāo)系統(tǒng)的攻擊。例如，攻擊者可以修改一個(gè)惡意軟件樣本的非關(guān)鍵特征，使得它被一個(gè)反病毒系統(tǒng)判定為良性樣本，從而繞過(guò)檢測(cè)。

圖1：攻擊者生成對(duì)抗樣本使系統(tǒng)與人類有不同的判斷

以最近頗受關(guān)注的圖像識(shí)別為例，圖像識(shí)別的原理是具備深度學(xué)習(xí)能力的人工智能系統(tǒng)，模仿人類視覺(jué)功能，通過(guò)一定的算法規(guī)則，區(qū)分不同的圖像目標(biāo)。但是，目前圖像識(shí)別深度學(xué)習(xí)所依賴的判斷規(guī)則和人眼的視覺(jué)機(jī)理仍存在較大的差距，這也就意味著：只要對(duì)目標(biāo)圖片稍加改造，圖像識(shí)別系統(tǒng)就有可能在完全正常的流程下輸出一個(gè)截然不同的錯(cuò)誤結(jié)果。

此前，Ian Goodfellow在2015年ICLR會(huì)議上就提出了著名逃逸樣本，樣本使用了谷歌的深度學(xué)習(xí)研究系統(tǒng)，該系統(tǒng)利用卷積神經(jīng)元網(wǎng)絡(luò)，能夠精確區(qū)分熊貓和長(zhǎng)臂猿等圖片。不過(guò)，攻擊者對(duì)熊貓的圖片“稍加改造”，增添了一些干擾因素。雖然這細(xì)微的差別并不會(huì)影響人類的判斷，不過(guò)圖像識(shí)別深度學(xué)習(xí)系統(tǒng)卻會(huì)把熊貓誤認(rèn)為長(zhǎng)臂猿。

圖2：逃逸攻擊讓深度學(xué)習(xí)系統(tǒng)將熊貓誤認(rèn)為長(zhǎng)臂猿

據(jù)悉，基于機(jī)器學(xué)習(xí)的逃逸攻擊主要分為白盒攻擊和黑盒攻擊。白盒攻擊需要獲取機(jī)器學(xué)習(xí)模型內(nèi)部的所有信息，然后直接計(jì)算得到對(duì)抗樣本；黑盒攻擊則只需要知道模型的輸入和輸出，不需要了解模型內(nèi)部的構(gòu)造和狀態(tài)，即可通過(guò)觀察模型輸出的變化來(lái)生成對(duì)抗樣本。

此外，該文合作者許偉林采用遺傳編程隨機(jī)修改惡意軟件的方法，成功攻擊了兩個(gè)號(hào)稱準(zhǔn)確率極高的惡意PDF文件分類器：PDFrate和Hidost。這些逃逸檢測(cè)的惡意文件和算法自動(dòng)修改出來(lái)的，并不需要PDF安全專家介入。同樣的算法可以用來(lái)對(duì)實(shí)際應(yīng)用的機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行逃逸攻擊。

同時(shí)，針對(duì)AI系統(tǒng)的對(duì)抗性研究，就是讓人工智能系統(tǒng)輸出錯(cuò)誤的結(jié)果。還是以手寫(xiě)圖像識(shí)別為例，攻擊者可以構(gòu)造惡意的圖片，使得人工智能系統(tǒng)在分類識(shí)別圖片的過(guò)程中觸發(fā)相應(yīng)的安全漏洞，改變程序正常執(zhí)行的控制流或數(shù)據(jù)流，使得人工智能系統(tǒng)輸出攻擊者指定的結(jié)果。

圖3：針對(duì)人臉識(shí)別系統(tǒng)的對(duì)抗樣本生成

白皮書(shū)中還提到，雖然深度學(xué)習(xí)系統(tǒng)經(jīng)過(guò)訓(xùn)練可以對(duì)正常輸入達(dá)到很低的誤判率，但是當(dāng)攻擊者用系統(tǒng)化的方法能夠生成誤判樣本的時(shí)候，攻擊的效率就可以接近100%，從而實(shí)現(xiàn)穩(wěn)定的逃逸攻擊。這也意味著，雖然人工智能應(yīng)用正越來(lái)越普及，但是對(duì)于逃逸攻擊的研究也應(yīng)該同步跟進(jìn)，其安全問(wèn)題不容忽視。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。