對網(wǎng)絡(luò)暴力Say NO！AI算法如何辨“好壞”？

科技云報道原創(chuàng)。

社交平臺、短視頻平臺等公共網(wǎng)絡(luò)場所，已經(jīng)成為網(wǎng)絡(luò)暴力行為的高發(fā)地。

在剛結(jié)束的冬奧會上，就有不少人通過網(wǎng)絡(luò)平臺的評論和私信功能，對冬奧選手進行詆毀、侮辱攻擊、散布不實謠言，對冬奧觀賽和社區(qū)氛圍造成了極大的傷害。

事實上，網(wǎng)絡(luò)暴力由來已久。由于網(wǎng)絡(luò)暴力往往處于灰色地帶，大部分暴力行為都尚未構(gòu)成誹謗和侮辱，因此很難對網(wǎng)絡(luò)暴力實施者處以刑罰或者行政處罰。網(wǎng)民的言論只要不超越法律底線，有權(quán)自由發(fā)表言論。

為了應(yīng)對網(wǎng)絡(luò)暴力行為，全球大多數(shù)的社交平臺都采用了言論投訴、評論過濾、評論/私信關(guān)閉、好友關(guān)注過濾等功能，在一定程度上緩解網(wǎng)絡(luò)霸凌的問題。

但限制性的功能類似于黑名單，并不能完全將網(wǎng)絡(luò)暴力扼殺在搖籃，只能在惡意語言/圖片/視頻出現(xiàn)后進行封堵，不幸的是負面影響已經(jīng)擴散開來。

那么，能否采用技術(shù)的手段從源頭就識別網(wǎng)絡(luò)暴力行為呢？

以AI技術(shù)制止網(wǎng)絡(luò)暴力，成為全球研究者共同的選擇

2016年，以“賈斯汀·比伯退出Instagram”為導(dǎo)火索，Instagram首次推出了負面評論過濾功能。之后，Instagram還通過機器學(xué)習(xí)來處理含有攻擊性信息的照片。

2019年，Instagram又推出兩大反網(wǎng)絡(luò)暴力功能，即言論提醒和自主選定黑粉功能，用來幫用戶抵制網(wǎng)絡(luò)暴力。

其中，言論提醒功能利用AI技術(shù)，在冒犯性言論發(fā)表之前，向發(fā)言者發(fā)出提醒。比如：當(dāng)某用戶輸入了“你又丑又蠢。”并點擊發(fā)布時，AI會發(fā)出“請為Instagram保持一個友好環(huán)境”的提醒。

“通過獲得這種干預(yù)，人們有機會反思和撤銷他們的評論，使收件人避免收到有害評論通知。”Instagram主管Adam Mosseri表示，“經(jīng)測試，我們發(fā)現(xiàn)這項功能確實有引導(dǎo)作用，能使一些用戶撤銷評論或修改評論內(nèi)容?！?/p>

近日，抖音也推出了類似的防網(wǎng)暴功能，并升級為AI技術(shù)和人工審核相結(jié)合的方式，對違規(guī)用戶進行引導(dǎo)和幫助。

當(dāng)用戶發(fā)布違規(guī)或低質(zhì)評論之后，抖音會對該評論進行模型匹配和校驗，用戶會立即收到評論彈窗警示，提示“該評論可能對他人造成負面影響”，給用戶一個回心轉(zhuǎn)意的機會。

當(dāng)然，彈窗可以跳過并繼續(xù)發(fā)布評論，但將不會被其它人看見，此時評論會進入正常審核邏輯，真正的違規(guī)評論依然會被處理。

此外，抖音在防網(wǎng)暴系統(tǒng)中還新增了名為“心情暖寶寶”的平臺助手。如果用戶多次違規(guī)發(fā)布私信、評論，AI算法可以自動匹配觸發(fā)“心情暖寶寶”，用消息對話嘗試緩解用戶的抑郁情緒，甚至引導(dǎo)用戶去人工求助、線下就診。

此外，用戶也可以自主在推薦、搜索、評論等場景減少負面內(nèi)容推薦。

除了識別謾罵/騷擾信息等明顯的負向內(nèi)容，如：反諷攻擊、答非所問、垃圾廣告導(dǎo)流這類“陰陽怪氣”的內(nèi)容，在不同討論語境下也會引發(fā)不同情緒，這更為AI算法識別帶來了極大挑戰(zhàn)。

對此，2018年知乎就通過AI技術(shù)嘗試處理陰陽怪氣的言論。“瓦力”作為知乎社區(qū)治理的算法機器人之一，能在0.3秒內(nèi)識別判斷內(nèi)容是否為不友善、答非所問、陰陽怪氣等多種需被折疊的答案。

“我們基于對于用戶切實體驗的累積觀察，與算法團隊一起，從情感傾向性、親密關(guān)系、文本特征三方面入手，訓(xùn)練出能夠識別陰陽怪氣的算法模型。目前‘瓦力’對陰陽怪氣評論文本的識別準(zhǔn)確率，已非常接近社區(qū)最大公約數(shù)，比很多人工判斷都更準(zhǔn)?！敝踹\營總監(jiān)孫達云表示。

所謂“社區(qū)最大公約數(shù)”指的是社區(qū)共識，即長久積淀下來知乎和用戶共同認可的一種公約，知乎稱之為知友們對價值判斷的最大公約數(shù)，比如“知乎不讓罵人”，比如“對優(yōu)質(zhì)內(nèi)容的界定”等。

知乎在過去多年中所累積的“舉報”等帶有用戶篩查性質(zhì)的行為語料和豐富的社區(qū)管理經(jīng)驗，使得知乎得以邁出關(guān)鍵一步：用社區(qū)最大公約數(shù)作為判定尺度。

在算法方面，通過400多個前沿的深度學(xué)習(xí)模型識別過億內(nèi)容，現(xiàn)在的知乎平臺，可以智能地進行傾向性識別、爆照識別、風(fēng)險圖片識別等等。

制止網(wǎng)絡(luò)暴力背后的AI技術(shù)：自然語言處理

在人類無法兼顧的海量信息中，AI技術(shù)的介入顯然為制止網(wǎng)絡(luò)暴力提供了一條捷徑。想要對評論、彈幕這樣成千上萬的非結(jié)構(gòu)化語言數(shù)據(jù)進行分析，自然語言處理（NLP）就成為研究者必須面對的核心AI技術(shù)。

作為AI的一個子領(lǐng)域，自然語言處理致力于讓計算機也能夠理解和處理人類語言，使計算機更接近于人類對語言的理解。

事實上，人類讀寫文字的歷史已經(jīng)有幾千年了，我們的大腦在理解自然語言方面積攢了大量的經(jīng)驗。當(dāng)我們閱讀文字時，很快就能明白其中的含義，并感受到這些東西引發(fā)的情感。

但是想讓機器也擁有人類對語言的理解和情感，是一件非常困難的事情。之所以自然語言處理技術(shù)被譽為 “人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也顯現(xiàn)出了它的技術(shù)難度。

如今，深度學(xué)習(xí)的興起，讓自然語言處理技術(shù)得以進一步發(fā)展，讓機器能夠自動學(xué)習(xí)語言特征，掌握更高層次、更加抽象的語言特征，目前已廣泛應(yīng)用于機器翻譯、輿情監(jiān)測、自動摘要、觀點提取、文本分類、問題回答、文本語義對比、語音識別、中文OCR等方面。

在生活中，從語音助手Siri、微軟小冰、小愛同學(xué)，到語音輸入、谷歌翻譯、水軍檢測等，隨處可見自然語言處理技術(shù)。

那么，在制止網(wǎng)絡(luò)暴力方面，自然語言處理技術(shù)是如何應(yīng)用的？具體而言，涉及以下幾個方向：

情緒解析

基于情緒解析引擎，可以針對某條內(nèi)容所表達的情緒極值以及十二種細節(jié)情緒進行全量分析，從而詳細了解千萬條評論內(nèi)容中網(wǎng)民們的整體情緒分布；

其次，還可根據(jù)時間段來看隨著時間的推移網(wǎng)友們對這件事的態(tài)度的變化，即是否還是那么厭惡/喜歡；

再者，結(jié)合第三方數(shù)據(jù)——如用戶地域、性別等信息，還可以對不同人群的肖像進行更精細地刻畫。

文本觀點提取

基于知識圖譜以及字詞間的相似度計算，高度精煉、概括每段話的核心表達觀點。

例如：“喜歡這個妝容，但是口紅顏色太深了”，觀點1：妝好；觀點2：口紅深。

對海量評論進行觀點提取，可以精準(zhǔn)、高效地總結(jié)不同網(wǎng)民對于同一件事件所表達出的不同觀點，并可以對其進行歸類和比較，幫助分析人員在第一時間獲取用戶的關(guān)注熱點信息或是用戶最反感的主要問題等關(guān)鍵信息。

文本相似度判斷

一對一、一對多或多對一的文本匹配，從理解不同字詞所表達的含義入手，結(jié)合知識圖譜，判斷兩段文本核心觀點的一致程度。

例如：對同一事件或兩個不同事件的評論進行相似度對比，可以根據(jù)結(jié)果看看用戶在用詞或表達上有什么共同點。不同事件間的評論對比，還能幫助發(fā)現(xiàn)“惡性”事件及其評論內(nèi)容之間的潛在關(guān)系，甚至能洞察出某件事/某個人近期的活動形象會不會影響對其輿論的積極/消極性.

詞法分析

針對網(wǎng)民們成千上萬條評論，可以通過詞法分析引擎來觀察積極評論或消極評論分別常用的用詞習(xí)慣、句式、詞法。從中可以總結(jié)出當(dāng)下網(wǎng)民普遍所使用的的話術(shù)/用詞習(xí)慣，以及不同人群在表達自己觀點時所特有的語言特點。

總體而言，基于自然語言處理的技術(shù)手段對網(wǎng)絡(luò)暴力文本進行分析，不僅能及時控制負面影響擴散，也能讓監(jiān)管機構(gòu)和平臺運營商更好地了解網(wǎng)絡(luò)暴力事件產(chǎn)生成因。

AI算法升級：上演“疑犯追蹤”

如果說自然語言處理是基于對網(wǎng)絡(luò)暴力文本及用戶行為的綜合分析，當(dāng)不能檢測評論內(nèi)容的情況下，能否精準(zhǔn)地識別出潛在的網(wǎng)絡(luò)暴力者？

近日，日本德島大學(xué)的計算機研究者聯(lián)合日本大型網(wǎng)絡(luò)公司代理商Cyber Agent在《人類行為計算》上發(fā)表論文，他們用機器學(xué)習(xí)的方法，分析了Cyber Agent旗下一款社交類游戲的使用數(shù)據(jù)，并且在不監(jiān)測聊天內(nèi)容的情況下，僅基于聊天次數(shù)、聊天對象、聊天時間等基本信息，就能較為精準(zhǔn)地識別出潛在網(wǎng)絡(luò)違法者，并預(yù)測出違法行為的大概時間。

研究者基于兩種傳統(tǒng)犯罪學(xué)理論開發(fā)了這套算法：日?；顒永碚摵蜕鐣魅纠碚?。

日?；顒永碚撎岢?，許多犯罪行為并不是隨機發(fā)生的，犯罪者和被害人往往在日?；顒又杏薪患?。例如，在現(xiàn)實生活中，小偷在盜竊前會去目標(biāo)地點踩點，并觀察目標(biāo)人物的行為規(guī)律；同樣的，網(wǎng)絡(luò)上的犯罪者更需要提前與“獵物”取得聯(lián)系，套取信任。因此，玩家的社交活動數(shù)據(jù)中或許就藏著“犯罪預(yù)告”。

另外，社會傳染理論還補充了重要的一點：違法傾向或違法行為也會傳染。最常見的例子就是網(wǎng)絡(luò)暴力。網(wǎng)絡(luò)暴力往往來源于某種過激情緒的廣泛傳播：在群體的裹挾下，有的人不知不覺就失去了獨立判斷能力，無意間成為了網(wǎng)上的施暴者。

在這兩種理論的基礎(chǔ)上，研究者選擇了是一款名叫Pigg Party的手機游戲。它主打社交功能，用戶登錄賬號后，可以裝扮虛擬的房間和個人形象，與朋友或陌生人以私聊、群聊、公聊的方式進行交流。

研究人員采用擅長從復(fù)雜數(shù)據(jù)中提取特征的算法——多層非線性模型，對55萬用戶6個月內(nèi)產(chǎn)生的聊天數(shù)據(jù)，包括每名用戶的聊天頻率、聊天時間、消息的接收者等進行了分析。

研究者組合多種神經(jīng)網(wǎng)絡(luò)模型和算法，搭建了預(yù)測違法事件的人工智能。

性能測試結(jié)果顯示， AI能根據(jù)用戶數(shù)據(jù)，較為準(zhǔn)確地預(yù)測未來的違法者和受害者賬戶。輸入用戶兩個月內(nèi)聊天的時間、頻率、對象，AI對接下來兩個月內(nèi)違法賬戶的預(yù)測準(zhǔn)確率可以達到84.85%，對受害者賬戶的預(yù)測準(zhǔn)確度也接近85%。

除了對個體賬戶違法或受害的風(fēng)險有較好的預(yù)測能力外，只需提供一周內(nèi)的用戶活動數(shù)據(jù)，AI就能基本精準(zhǔn)地預(yù)測接下來的一周網(wǎng)絡(luò)社區(qū)里發(fā)生違法事件的時間，對小時和日期的預(yù)測準(zhǔn)確率高達95.83%和85.71%，并且結(jié)果與預(yù)測受害給出的時間相吻合。

更有趣的是，AI分析數(shù)據(jù)后預(yù)警發(fā)生違法事件的時間，并不一定處在以往發(fā)生違法事件的時間段中，可見它掌握的并不僅僅是固定的規(guī)則，還有違法者言行中的真正“邏輯”。

研究者認為，借助AI，系統(tǒng)管理員能更好地維護網(wǎng)絡(luò)安全和用戶權(quán)益。盡管目前的AI并且不能進一步預(yù)測違法事件的具體類型，但它或許能抓住網(wǎng)絡(luò)上“隱形”的違法者，更好地保護我們的安全。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。