京東安全：深度學(xué)習(xí)解釋模型比人更懂AI

日前,由GeekPwn(極棒)聯(lián)合谷歌大腦Alexey Kurakin、Ian Goodfellow 以及美國加州大學(xué)伯克利分校計(jì)算機(jī)系教授宋曉冬共同發(fā)起的全球首個聚焦AI安全的CAAD對抗樣本攻防賽登錄全球頂級黑客大會DEFCON。來自京東安全的 JD-Omega戰(zhàn)隊(duì),與來自微軟、谷歌、騰訊、清華大學(xué)等國際知名的高水平戰(zhàn)隊(duì)團(tuán)隊(duì)會師拉斯維加斯,在CAAD CTF和CAAD Village展開技術(shù)切磋。

京東安全硅谷研發(fā)中心研究員郭文博在DEFCON CAAD Village上分享了全球首創(chuàng)的、可適用于不同深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的AI解析技術(shù),該技術(shù)可應(yīng)用于自動化黑產(chǎn)對抗。并介紹了AI解析技術(shù)在京東打擊黑產(chǎn)上的具體應(yīng)用。

緣起:深度學(xué)習(xí)的“殺手”

隨著深度學(xué)習(xí)技術(shù)的崛起,AI似乎已成為無所不能的代名詞。但事實(shí)并非如此,AI也會犯錯。

研究者發(fā)現(xiàn):通過向真實(shí)樣本中添加人眼不可見的噪聲,就會導(dǎo)致深度學(xué)習(xí)模型發(fā)生預(yù)測錯誤,把原本是雪山的圖片誤認(rèn)為是狗。

而在“生成式對抗網(wǎng)絡(luò)”的發(fā)明者 Ian Goodfellow近期發(fā)表的一篇關(guān)于惡意樣本的論文中,這一“欺騙性效應(yīng)”進(jìn)一步升級,不光是欺騙機(jī)器,連人類也被欺騙了。

如上圖所示,機(jī)器模型和人類都會判斷左側(cè)是貓,而右側(cè)是狗,即使我們仔細(xì)觀察可能也會得出相同的結(jié)論。而事實(shí)上右側(cè)圖像只是左側(cè)圖像一個簡單地對抗擾動。

別小看了這個“對抗性擾動”,這便是有深度學(xué)習(xí)“殺手”之稱的對抗樣本,肉眼看上去雖是同一個目標(biāo),但在深度學(xué)習(xí)分類器上便會把它分到錯誤的類別上。試想:如果這是一輛行駛中的自動駕駛汽車,那么別有用心的人隨時都能制造一起車禍。

以上的一切,似乎都在告訴我們,AI并不那么可靠,而事實(shí)果真如此嗎?

破局:從解釋深度學(xué)習(xí)開始

事實(shí)上,對抗樣本看似強(qiáng)大,但并非無法解決,只要調(diào)整深度學(xué)習(xí)的判斷機(jī)制便可以了。但是,現(xiàn)實(shí)情況往往是程序只會給你一個結(jié)果,并不會向你解釋判斷過程,即便你想調(diào)整也無從下手。這時理解深度學(xué)習(xí)便顯得尤為重要。

在CAAD village上,郭文博介紹,正是基于此,京東安全開創(chuàng)了一套AI解釋系統(tǒng),可以對深度學(xué)習(xí)模型的決定進(jìn)行分析,并找到它做出判斷的依據(jù)。這就好比它不光告訴你圖片中是香蕉,還會告訴你因?yàn)樗屈S的、彎的,掰開皮有白色的果肉,周圍的環(huán)境還是熱帶叢林,所以我判定它是香蕉。

如此一來,除了可以得到深度學(xué)習(xí)模型的判斷結(jié)果,工程師還能得到它做出判斷的原因,如果發(fā)現(xiàn)判斷邏輯有誤,便能立馬進(jìn)行修復(fù),從而實(shí)現(xiàn)重新訓(xùn)練深度學(xué)習(xí)模型的目的,使模型更安全。

據(jù)了解,在京東,這種修復(fù)功能也實(shí)現(xiàn)了自動化。因此,即便AI犯錯了也會快速完成調(diào)整,確保讓黑產(chǎn)無懈可擊。

對抗:在博弈中不斷精進(jìn)

據(jù)了解,JD-Omega由京東安全團(tuán)隊(duì)的科研人員組成。團(tuán)隊(duì)成員的背景涵蓋了計(jì)算機(jī)軟件安全以及人工智能。在過去的幾年里,該團(tuán)隊(duì)成員在世界頂級安全會議CCS,USENIX Security, IEEE S&P, blackhat USA/Europe, DEFCON 先后發(fā)表過10余篇科研論文。除此之外,該隊(duì)成員也是世界頂級AI會議的?？汀Ｋ麄兊目蒲谐晒幻绹~約時報(bào)、麻省理工技術(shù)雜志、新科學(xué)家雜志等廣泛報(bào)道。

京東首席信息安全專家Tony Lee稱,此次京東安全JD-Omega戰(zhàn)隊(duì)參與CAAD對抗樣本攻防賽的根本目的是與世界級頂尖黑客同臺切磋,分享京東安全最新研究成果的同時也希望能在比拼中獲得更多藍(lán)軍視角的經(jīng)驗(yàn),在實(shí)戰(zhàn)中不斷提升。

在京東安全看來,互聯(lián)網(wǎng)戰(zhàn)場上從來沒有絕對的安全,有的只是攻方和守方的反復(fù)博弈。防御方想要獲得真正的安全,唯有在博弈中不斷精進(jìn),始終保持技術(shù)領(lǐng)先,比攻擊方快人一步。用Tony Lee的話說,“我們要永遠(yuǎn)戰(zhàn)斗在最激烈的戰(zhàn)場”。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。