摘要：針對全球人工智能安全框架缺失問題，在工業(yè)和信息化部網(wǎng)絡(luò)安全管理局指導(dǎo)下，中國信息通信研究院聯(lián)合瑞萊智慧RealAI、百度、騰訊、360、中科院信工所共同編制《人工智能安全框架(2020年)》藍(lán)皮書于此前正式發(fā)布，提出涵蓋人工智能安全目標(biāo)，人工智能安全分級能力，以及人工智能安全技術(shù)和管理體系的人工智能安全框架。
當(dāng)前，隨著全球人工智能規(guī)?；ㄔO(shè)和應(yīng)用的持續(xù)加速，人工智能基礎(chǔ)設(shè)施、設(shè)計(jì)研發(fā)及融合應(yīng)用面臨的安全風(fēng)險(xiǎn)正日益凸顯，保障人工智能應(yīng)用安全可靠的需求日漸迫切。
雖然人工智能安全話題的社會關(guān)注度不斷提升，學(xué)術(shù)界也在積極推動安全攻防、聯(lián)邦學(xué)習(xí)、差分隱私機(jī)器學(xué)習(xí)、深度偽造檢測等方向的安全技術(shù)創(chuàng)新，但目前針對人工智能安全問題的分析研究仍存在不足，比如針對人工智能可能面臨哪些安全威脅，人工智能安全防御加固技術(shù)有哪些，面對新的安全威脅企業(yè)應(yīng)如何部署安全能力等等內(nèi)容少有涉及。
在傳統(tǒng)網(wǎng)絡(luò)安全領(lǐng)域，NIST網(wǎng)絡(luò)安全框架、滑動標(biāo)尺模型等能夠很好的指導(dǎo)用戶全面分析和解決網(wǎng)絡(luò)安全問題。但目前在人工智能領(lǐng)域還缺少類似能夠指引社會各方提升人工智能安全防護(hù)能力的框架。
因而，《人工智能安全框架(2020年)》藍(lán)皮書(下文簡稱“《框架》”)被提出，遵從實(shí)用性、前瞻性和整體性的原則，從全局化、體系化的角度打造人工智能風(fēng)險(xiǎn)地圖、人工智能安全框架、安全技術(shù)圖譜，便于有效部署實(shí)施人工智能技術(shù)，以及指導(dǎo)社會各方構(gòu)建人工智能安全防護(hù)體系。
一、人工智能風(fēng)險(xiǎn)地圖
《框架》藍(lán)皮書不單單只看人工智能安全風(fēng)險(xiǎn)表現(xiàn)，結(jié)合人工智能系統(tǒng)設(shè)計(jì)運(yùn)營全流程，根據(jù)人工智能所處的不同生命周期階段對安全風(fēng)險(xiǎn)進(jìn)行劃分，以地圖的方式進(jìn)行全局展示，一方面有利于更全詳盡、更深入的剖析人工智能所面臨的風(fēng)險(xiǎn)，另一方面也將有助于分析定位人工智能安全問題。
生命周期：根據(jù)國際標(biāo)準(zhǔn)化組織(ISO)對人工智能系統(tǒng)生命周期過程的劃分，可以概括為初始、設(shè)計(jì)研發(fā)、檢驗(yàn)驗(yàn)證、部署、運(yùn)行監(jiān)控、持續(xù)驗(yàn)證、重新評估、廢棄八個階段，分階段描繪出人工智能存在的安全風(fēng)險(xiǎn)，用戶可以根據(jù)自身情況有所側(cè)重。
風(fēng)險(xiǎn)來源：針對不同階段的不同風(fēng)險(xiǎn)表現(xiàn)，地圖羅列出背后的風(fēng)險(xiǎn)來源，分析導(dǎo)致該風(fēng)險(xiǎn)發(fā)生的根本原因，便于用戶從根源定位安全問題，從源頭給出應(yīng)對措施。
風(fēng)險(xiǎn)表現(xiàn)：目前人工智能在不同生命周期階段會面臨的安全問題。值得注意的是攻擊者可以從多個環(huán)節(jié)進(jìn)行攻擊達(dá)到目的，例如算法后門即可在設(shè)計(jì)研發(fā)階段通過修改訓(xùn)練數(shù)據(jù)植入，也可以在運(yùn)行監(jiān)控階段通過篡改模型文件植入，人工智能技術(shù)使用方需要對安全威脅做通盤考慮。
二、人工智能安全框架
人工智能技術(shù)特點(diǎn)及安全風(fēng)險(xiǎn)與傳統(tǒng)信息系統(tǒng)存在顯著差異，傳統(tǒng)網(wǎng)絡(luò)安全框架無法直接適用于人工智能應(yīng)用，但《框架》藍(lán)皮書參考傳統(tǒng)網(wǎng)絡(luò)安全框架經(jīng)驗(yàn)，圍繞安全目標(biāo)、安全能力、安全技術(shù)和安全管理四個維度，聚焦人工智能基礎(chǔ)設(shè)施、設(shè)計(jì)研發(fā)以及應(yīng)用行為決策過程中存在的安全風(fēng)險(xiǎn)，自頂向下、層層遞進(jìn)，為企業(yè)不斷提升人工智能安全能力提供可遵循的迭代路徑。
安全目標(biāo)：明確人工智能安全目標(biāo)將為人工智能安全防護(hù)工作的實(shí)施指明方向。本框架通過全面分析人工智能應(yīng)用面臨的安全風(fēng)險(xiǎn)，總結(jié)和提煉業(yè)界所提出的目標(biāo)，最終從應(yīng)用、功能、數(shù)據(jù)、決策、行為、事件六個方面明確安全目標(biāo)。
安全能力：框架以滑動標(biāo)尺為參考，按照安全能力建設(shè)難度逐級遞增，以及安全資源投入產(chǎn)出比逐級遞減的方式提出了人工智能安全能力分級疊加演進(jìn)模型，規(guī)劃為架構(gòu)安全、設(shè)被動防御、主動防御、威脅情報(bào)和反制進(jìn)攻五級人工智能安全能力?；瑒訕?biāo)尺對企業(yè)安全能力建設(shè)的投入有指導(dǎo)性意義，比如從投入產(chǎn)出比的角度來看，用戶應(yīng)選擇優(yōu)先構(gòu)建架構(gòu)安全層面的能力，難度低、資源投入少，但安全能力提升最為顯著。
安全技術(shù)：構(gòu)建人工智能應(yīng)用涉及人工智能業(yè)務(wù)、人工智能算法、人工智能訓(xùn)練數(shù)據(jù)和機(jī)器學(xué)習(xí)框架平臺四大核心層面，為此解決人工智能安全問題也不能只停留其中一個層面，如僅考慮算法安全方面的問題，忽略了深度學(xué)習(xí)平臺相關(guān)的漏洞，也有可能被攻擊者找到突破口進(jìn)而導(dǎo)致服務(wù)不可用等風(fēng)險(xiǎn)。本框架綜合業(yè)務(wù)、算法、數(shù)據(jù)和平臺四大層面所涉及的技術(shù)方法，完善了人工智能安全技術(shù)體系。
安全管理：除了安全技術(shù)外，組織建設(shè)也是達(dá)到安全目標(biāo)的重中之重。企業(yè)需在法律法規(guī)、標(biāo)準(zhǔn)規(guī)范等指導(dǎo)下，在人工智能安全組織、人員和制度等方面具體開展實(shí)踐。雖然目前有人工智能安全相關(guān)的標(biāo)準(zhǔn)正在研制中，但推動人工智能安全能力的有效落地，還需要國家和行業(yè)人工智能安全法律法規(guī)、行業(yè)政策、倫理規(guī)范、技術(shù)標(biāo)準(zhǔn)等方面的持續(xù)努力。
安全技術(shù)圖譜
為便于企業(yè)有效部署實(shí)施人工智能業(yè)務(wù)、算法、數(shù)據(jù)和平臺安全技術(shù)，《框架》描繪出完整的人工智能安全技術(shù)圖譜，列舉各環(huán)節(jié)建議部署的安全技術(shù)以應(yīng)對不同階段的安全問題。參照圖譜，企業(yè)可結(jié)合自身業(yè)務(wù)特點(diǎn)選擇應(yīng)用合適的技術(shù)手段。
?同時，針對不同的技術(shù)手段，《框架》列舉了業(yè)屆已成熟落地的方案或者最有代表性的研究工作，為企業(yè)提供應(yīng)用參考，比如目前在增強(qiáng)算法魯棒性、數(shù)據(jù)隱私計(jì)算領(lǐng)域應(yīng)用較為成熟的數(shù)據(jù)增強(qiáng)與聯(lián)邦學(xué)習(xí)技術(shù)，《框架》中作了詳細(xì)介紹。
數(shù)據(jù)增強(qiáng)：通過模擬自然場景或?qū)箞鼍爸锌赡艹霈F(xiàn)的各類情況，支撐算法模型從數(shù)據(jù)中學(xué)習(xí)到相關(guān)特征提升算法魯棒性，從而在各種場景下始終保持正常的性能水平。數(shù)據(jù)增強(qiáng)方法可用于提升算法自然魯棒性。例如，可以通過旋轉(zhuǎn)平移、添加自然噪聲等模擬不同場景下的干擾數(shù)據(jù)，利用數(shù)據(jù)風(fēng)格遷移生成不易收集的場景數(shù)據(jù)等方式生成訓(xùn)練數(shù)據(jù)提升模型魯棒性。Dan Hendrycks等人開源的Corruption and Perturbation Robustness提供了可用于訓(xùn)練測試的多種場景下的模擬數(shù)據(jù)。同時，數(shù)據(jù)增強(qiáng)方法也可以用于提升對抗魯棒性。例如，可以生成預(yù)加固模型的對抗樣本數(shù)據(jù)用于對抗訓(xùn)練提升算法模型魯棒性。Madry 等人將對抗樣本數(shù)據(jù)與真實(shí)數(shù)據(jù)混合后進(jìn)行對抗訓(xùn)練可大幅提升模型應(yīng)對對抗樣本攻擊的表現(xiàn)，進(jìn)而提升模型魯棒性。
聯(lián)邦學(xué)習(xí)：指在各參與方數(shù)據(jù)不出本地的情況下，通過加密機(jī)制下的參數(shù)交換方式進(jìn)行數(shù)據(jù)聯(lián)合訓(xùn)練建立共享機(jī)器學(xué)習(xí)模型的過程。 針對不同的應(yīng)用場景，聯(lián)邦學(xué)習(xí)有多種模式可供選擇。在用戶特征維 度重疊較多而用戶重疊較少的情況下可采用橫向聯(lián)邦學(xué)習(xí)。在用戶重 疊較多而特征維度重疊較少的情況下可采用縱向聯(lián)邦學(xué)習(xí)。在用戶與用戶特征維度重疊都較少的情況下采用聯(lián)邦遷移學(xué)習(xí)方式。微眾銀行推出了能提供一站式聯(lián)邦模型服務(wù)解決方案的 FATE，覆蓋橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)。騰訊T-Sec 聯(lián)邦學(xué)習(xí)方案能夠有效提升聯(lián)合建模場景下的安全性。瑞萊智慧發(fā)布的RealSecure在支持聯(lián)邦學(xué)習(xí)核心特性的基礎(chǔ)上，能夠極大方便聯(lián)邦學(xué)習(xí)算法開發(fā)和算法更新集成。
除此之外，《框架》還針對對抗樣本攻擊、模型后門、算法公平性、算法可解釋性、數(shù)據(jù)隱私保護(hù)等問題給出了如魯棒特征學(xué)習(xí)、模型自解釋、算法公平性約束、多方安全計(jì)算、同態(tài)加密等在內(nèi)的十余項(xiàng)熱門安全加固防護(hù)技術(shù)的深入介紹。
隨著人工智能安全風(fēng)險(xiǎn)日益凸顯，在關(guān)乎人類生命安全、財(cái)產(chǎn)安全以及國家社會安全的部分領(lǐng)域，人工智能應(yīng)用安全防護(hù)的相關(guān)防護(hù)已有所開展，例如自動駕駛、智能信貸風(fēng)控和深度偽造是開展人工智能安全防護(hù)較為領(lǐng)先的三個領(lǐng)域。為便于企業(yè)借鑒已有人工智能安全防護(hù)經(jīng)驗(yàn)，《框架》藍(lán)皮書將結(jié)合行業(yè)實(shí)踐案例闡述上述三個領(lǐng)域人工智能安全防護(hù)工作開展。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
