近期，《咬文嚼字》雜志發(fā)布了2024年度十大流行語(yǔ)，“智能向善”位列其中，過(guò)去一年時(shí)間里，深度偽造、AI詐騙等話題屢次登上熱搜，AI技術(shù)“野蠻生長(zhǎng)”引發(fā)公眾擔(dān)憂。今年9月，全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)發(fā)布了《人工智能安全治理框架》，指出人工智能既面臨自身技術(shù)缺陷、不足帶來(lái)的內(nèi)生風(fēng)險(xiǎn)，也面臨不當(dāng)使用、濫用甚至惡意利用帶來(lái)的外部風(fēng)險(xiǎn)。
為探尋AI安全治理道路，近期，由中國(guó)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)視覺(jué)專(zhuān)委會(huì)主辦，合合信息承辦，中國(guó)運(yùn)籌學(xué)會(huì)數(shù)學(xué)與智能分會(huì)協(xié)辦的《打造大模型時(shí)代的可信AI》論壇（簡(jiǎn)稱(chēng)“論壇”）順利舉行。論壇特邀來(lái)自上海交通大學(xué)、電子技術(shù)標(biāo)準(zhǔn)化研究院、中國(guó)科學(xué)技術(shù)大學(xué)、中科院、合合信息等機(jī)構(gòu)與企業(yè)的專(zhuān)家們，從立法、監(jiān)管、前沿研究、技術(shù)實(shí)踐等多個(gè)維度分享AI安全領(lǐng)域的最新進(jìn)展，助力AI向善發(fā)展。
《打造大模型時(shí)代的可信AI》分享嘉賓合影
中國(guó)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)視覺(jué)專(zhuān)委會(huì)副秘書(shū)長(zhǎng)潘金山博士致辭
AI安全治理框架：技術(shù)手段與規(guī)范管理并行
隨著以 ChatGPT 為代表的AI大語(yǔ)言模型技術(shù)飛速發(fā)展，關(guān)于數(shù)據(jù)安全、知識(shí)產(chǎn)權(quán)、算法偏見(jiàn)和有害內(nèi)容生成等大語(yǔ)言模型的內(nèi)容安全問(wèn)題引發(fā)了社會(huì)關(guān)注。“安全是個(gè)抽象概念，安全對(duì)齊的過(guò)程是一個(gè)從抽象到具體的模擬過(guò)程?！闭搲希虾＝煌ù髮W(xué)人工智能研究院教授、總工程師金耀輝圍繞大模型訓(xùn)練過(guò)程，提出了“訓(xùn)練對(duì)齊、提示引導(dǎo)和文本過(guò)濾”三大安全保障手段，助力抽象的安全概念落實(shí)到具體的技術(shù)研發(fā)流程中。
上海交通大學(xué)人工智能研究院教授、總工程師金耀輝進(jìn)行《智能共生時(shí)代：平衡生成式AI的創(chuàng)新與風(fēng)險(xiǎn)》主題分享
規(guī)范標(biāo)準(zhǔn)是AI健康生長(zhǎng)的外部力量。中國(guó)電子標(biāo)準(zhǔn)院網(wǎng)安中心測(cè)評(píng)實(shí)驗(yàn)室副主任、CCIA數(shù)安委常務(wù)副主任何延哲認(rèn)為，人工智能安全檢測(cè)目前還主要停留在內(nèi)容安全層面，檢測(cè)方法比較單一。他將人工智能安全檢測(cè)評(píng)估劃分為算力網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個(gè)人信息保護(hù)、算法模型安全、網(wǎng)絡(luò)信息安全、科技倫理安全六方面，形成綜合評(píng)估框架，為標(biāo)準(zhǔn)引領(lǐng)技術(shù)發(fā)展方向提供可行性參考。
電子標(biāo)準(zhǔn)院網(wǎng)安中心測(cè)評(píng)實(shí)驗(yàn)室副主任、CCIA數(shù)安委常務(wù)副主任何延哲進(jìn)行《人工智能安全檢測(cè)評(píng)估的邏輯和要點(diǎn)》主題分享
技術(shù)實(shí)踐：“看不見(jiàn)”的AI讓偽造痕跡被看見(jiàn)
12月10日，Open AI正式向用戶開(kāi)放AI視頻生成模型Sora。以Sora為代表的AI工具在給圖像視頻行業(yè)帶來(lái)革新的同時(shí)，也引發(fā)了合成圖像偽造風(fēng)險(xiǎn)。中國(guó)科學(xué)技術(shù)大學(xué)教授、國(guó)家杰青謝洪濤以特定人物深度偽造視頻為研究對(duì)象，從主動(dòng)防御和被動(dòng)檢測(cè)兩個(gè)視角分享了具體治理方案。
謝洪濤提到，主動(dòng)防御用于在視頻生成或傳播過(guò)程中加入前置保護(hù)措施，例如采用雙重水印技術(shù)，給人臉圖像加上“看不見(jiàn)”的魯棒性水印與半脆弱性水印，方便后續(xù)取證；被動(dòng)檢測(cè)包括圖像級(jí)不一致性和時(shí)空身份不一致性檢測(cè)技術(shù)，用于在視頻傳播或使用后評(píng)估其真實(shí)性。
除了視頻外，圖像作為常見(jiàn)的數(shù)字內(nèi)容資料形式，更容易被不法分子進(jìn)行局部或全域生成式篡改。合合信息圖像算法研發(fā)總監(jiān)郭豐俊表示，合合信息技術(shù)團(tuán)隊(duì)基于數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)模型，推出了行業(yè)領(lǐng)先水平的圖像篡改檢測(cè)方案，可提取篡改留下的細(xì)微痕跡，檢測(cè)出多種篡改形式，在近年的2次國(guó)際性技術(shù)競(jìng)賽中獲得冠軍。當(dāng)前文檔類(lèi)圖像篡改檢測(cè)仍然面臨諸多挑戰(zhàn)，如跨域泛化檢測(cè)性能低下，純色背景篡改檢測(cè)準(zhǔn)確率較低，壓縮、傳輸?shù)葎?dòng)作導(dǎo)致圖像質(zhì)量退化，致使檢測(cè)性能下降等系列問(wèn)題。大模型技術(shù)的出現(xiàn)為AI視覺(jué)安全的發(fā)展創(chuàng)造了新的可能，也為應(yīng)對(duì)檢測(cè)泛化能力和抗攻擊能力的挑戰(zhàn)提供了契機(jī)。
合合信息圖像算法研發(fā)總監(jiān)郭豐俊進(jìn)行《視覺(jué)內(nèi)容安全技術(shù)的前沿進(jìn)展與應(yīng)用》主題分享
人工智能鑒別與合成技術(shù)相互博弈，密不可分。中國(guó)科學(xué)院自動(dòng)化研究所研究員、IEEE/IAPR Fellow赫然博士從深度合成技術(shù)出發(fā)，詳細(xì)分析了虛擬身份、身份重演和人臉驅(qū)動(dòng)三種合成技術(shù)類(lèi)型。他表示，深度合成技術(shù)的深入研究為鑒別提供了線索，例如模型指紋線索、圖像拼接線索和時(shí)序閃爍線索等，形成多模態(tài)多線索的鑒偽方法，并有針對(duì)性地提出了圖像鑒別方案，包括基于空頻域信息和提示學(xué)習(xí)結(jié)合的偽造鑒別方法、基于transformer的視頻鑒別方法等。
中國(guó)科學(xué)院自動(dòng)化研究所研究員、IEEE/IAPR Fellow赫然進(jìn)行《生成式人工智能安全與治理》主題分享
生成式人工智能發(fā)展日新月異，技術(shù)革新與安全治理缺一不可，面對(duì)AI的潛在風(fēng)險(xiǎn)，加強(qiáng)行業(yè)內(nèi)部自律，從源頭做好安全措施是守護(hù)AI健康成長(zhǎng)的第一道防線。本次活動(dòng)是產(chǎn)學(xué)研聯(lián)合探索AI安全治理的一次有效嘗試。未來(lái)，合合信息會(huì)持續(xù)深耕AI視覺(jué)安全領(lǐng)域，積極推動(dòng)行業(yè)合作與交流。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
