社交媒體要怎么做UGC內(nèi)容風(fēng)控？

早年，F(xiàn)acebook曾聯(lián)合部分知名高校的學(xué)者做過一項(xiàng)研究：以689003名用戶的好友動(dòng)態(tài)信息流作為研究樣本，通過修改信息分發(fā)的算法，人為區(qū)分出消極情緒偏向或積極情緒偏向的內(nèi)容，強(qiáng)方向性地給研究樣本中的用戶進(jìn)行曝光。

研究結(jié)果表明，獲取更多消極傾訴偏向的用戶，在發(fā)布動(dòng)態(tài)等行為上也更偏向消極情緒，反之亦然。有的研究者把這種現(xiàn)象稱之為“情緒蔓延”，簡(jiǎn)而言之，在社交媒體上你給人們曝光什么，人們的心智也會(huì)隨之發(fā)生改變。

由此可見，社交媒體的影響力早已超出普羅大眾的普遍認(rèn)識(shí)，這些基于社會(huì)化網(wǎng)絡(luò)的內(nèi)容生產(chǎn)與交換平臺(tái)早已在經(jīng)意或不經(jīng)意間給我們帶來了深遠(yuǎn)的影響。

著名的《連線》雜志創(chuàng)始主編凱文·凱利在其成名作《失控》中曾表明一個(gè)犀利的觀點(diǎn)，他認(rèn)為人類歷史曾經(jīng)發(fā)生四次認(rèn)知顛覆，其中就包含了來自弗洛伊德的研究理論：我們的意志不是一個(gè)獨(dú)立的個(gè)體，它其實(shí)是多股意見和不同意識(shí)的綜合體，實(shí)際上我們連自己的意識(shí)都不能完全主宰。

所以也不難理解，為什么全球范圍內(nèi)的社交媒體在內(nèi)容管控上都在走向強(qiáng)干預(yù)。在信息爆炸的今天，如果社交媒體的內(nèi)容走向過度傾向負(fù)面，那么集體意識(shí)走向失控的風(fēng)險(xiǎn)就會(huì)無比放大。

不同媒介的機(jī)器輔助審核

隨著市場(chǎng)與行業(yè)的升級(jí)，社交媒體中信息傳播的媒介與形式呈現(xiàn)了多樣化、創(chuàng)新性的發(fā)展趨勢(shì)。視頻、音頻媒介的廣泛流行給內(nèi)容審核工作帶來了新的挑戰(zhàn)，直播、去中心化的UGC內(nèi)容相對(duì)以熱門推薦算法主導(dǎo)的資訊流又有更高的即時(shí)性要求。

不過，得益于人工智能及算法技術(shù)近年來的迅猛發(fā)展，利用機(jī)器，互聯(lián)網(wǎng)行業(yè)已經(jīng)發(fā)展出基于不同媒介維度的輔助解決方案。

文本內(nèi)容：最基礎(chǔ)的處理工作是匹配詞庫(kù)進(jìn)行分類處理，現(xiàn)有的詞庫(kù)按風(fēng)險(xiǎn)嚴(yán)重程度可以劃分為涉政詞與敏感詞兩大分類。尤其可能涉及政治違規(guī)的關(guān)鍵詞需要嚴(yán)格進(jìn)行處理，而敏感詞中除了明確公眾普遍不可接受的詞匯外還有大量在不同場(chǎng)景下有不同語(yǔ)義的敏感詞，如果完全統(tǒng)一處理就很容易給用戶帶來體驗(yàn)損害。

舉個(gè)例子，“約”一詞就需要根據(jù)其實(shí)際的詞匯組合以及語(yǔ)境來進(jìn)行判斷，“明天去看電影，約嗎？”就不是需要處罰的語(yǔ)句。在此基礎(chǔ)上就衍生出利于上下文內(nèi)容判定語(yǔ)義的語(yǔ)義分析，以及根據(jù)聚類分析判斷與垃圾文本的相似性的結(jié)果判定。

圖片內(nèi)容：機(jī)器對(duì)圖片類型的內(nèi)容審核，其底層是圖片識(shí)別的技術(shù)應(yīng)用。所有的物品圖像都有它的圖形特征，圖片識(shí)別則可以以其基礎(chǔ)特征為基礎(chǔ)進(jìn)行判斷。以足球?yàn)槔淝驙顖A形球形以及遍布五邊形的圖案就構(gòu)成了其基礎(chǔ)特征，圖片識(shí)別通過算法提取圖像的特征值，計(jì)算特征值的相似度匹配物品圖像原型。

以此為基礎(chǔ)邏輯，圖片內(nèi)容的各個(gè)場(chǎng)景得以被辨識(shí)并應(yīng)用到內(nèi)容審核中，比如下圖以網(wǎng)易易盾的圖片檢測(cè)的產(chǎn)品介紹為例示意其應(yīng)用場(chǎng)景。

（網(wǎng)易易盾的圖片識(shí)別應(yīng)用場(chǎng)景）

音頻內(nèi)容：音頻內(nèi)容審查包括音頻與視頻兩個(gè)類型媒介的內(nèi)容提取。音頻識(shí)別的技術(shù)基礎(chǔ)建立在以聲學(xué)模型建立的發(fā)音模版，通過匹配發(fā)音模版判斷出語(yǔ)種和對(duì)應(yīng)表義，輸出可被計(jì)算機(jī)理解的語(yǔ)言結(jié)果。

在內(nèi)容審核應(yīng)用上，一種通用方法是將語(yǔ)音識(shí)別為文本信息后復(fù)用文本內(nèi)容的判斷模型。在語(yǔ)音識(shí)別中，面臨音頻背景音嘈雜的場(chǎng)景還需要進(jìn)行降噪，而多音軌發(fā)音場(chǎng)景下要實(shí)現(xiàn)準(zhǔn)確識(shí)別也是一大難題。

視頻內(nèi)容：視頻動(dòng)畫的實(shí)現(xiàn)終究是基于畫面幀的連續(xù)播放，故對(duì)于視頻畫面內(nèi)容的處理，目前通用的解決方案是截取畫面幀進(jìn)行識(shí)別，最終復(fù)用的是圖片識(shí)別模型判斷涉黃、暴力、血腥等違禁內(nèi)容。一個(gè)僅僅幾分鐘視頻所擁有的圖片幀數(shù)量極多，其中截幀的頻次越高，數(shù)量越多，該視頻出現(xiàn)違禁內(nèi)容的風(fēng)險(xiǎn)越小。

可見，以上幾種不同媒介的機(jī)器審核目前于業(yè)界已經(jīng)有基礎(chǔ)方案。但實(shí)際應(yīng)用可是復(fù)雜多樣，機(jī)器審核無法完全解決諸如多音軌語(yǔ)音、完整圖案干擾、文本植入變異敏感詞、視頻“閃現(xiàn)”違禁內(nèi)容等場(chǎng)景的問題，其終究起到的是輔助審核的作用。根本邏輯即是通過機(jī)器審核剔除明確違規(guī)的內(nèi)容，剩下的內(nèi)容最終交由人工審核判定分發(fā)。

UGC內(nèi)容風(fēng)控設(shè)計(jì)

與熱門推薦算法導(dǎo)向的“資訊”、“內(nèi)容”向產(chǎn)品不同，微信、QQ及一眾新興社交軟件的UGC動(dòng)態(tài)內(nèi)容生產(chǎn)高并發(fā)，用戶體驗(yàn)有更高的時(shí)效性需求，如何把握用戶體驗(yàn)和內(nèi)容審查就成為其風(fēng)控的一大要點(diǎn)。以下選取QQ、陌陌、Soul、Uki四款社交軟件，以色情維度的信息為例，測(cè)評(píng)其在內(nèi)容風(fēng)控上的產(chǎn)品設(shè)計(jì)。

發(fā)布動(dòng)態(tài)

在動(dòng)態(tài)社區(qū)中，“聊騷”這樣一個(gè)敏感詞的判定標(biāo)準(zhǔn)上，4款軟件有不同的定義。除了Soul已然將其判定為不可發(fā)布與傳播的內(nèi)容外，其他三者均能進(jìn)行發(fā)布分發(fā)。而在非文本媒介上，行業(yè)標(biāo)桿QQ與Soul已實(shí)現(xiàn)較為完善的內(nèi)容風(fēng)控，尤其Soul在發(fā)布明顯可判定為“色情”的圖片、音頻、視頻內(nèi)容后，其發(fā)布賬號(hào)會(huì)在內(nèi)容審核后直接被采取封號(hào)處罰。

而Uki與陌陌在動(dòng)態(tài)社區(qū)的內(nèi)容風(fēng)控上顯然有所不足，兩者的圖片內(nèi)容發(fā)布也會(huì)先經(jīng)過機(jī)器審核，在圖片識(shí)別為違規(guī)內(nèi)容會(huì)阻斷發(fā)布直接刪除內(nèi)容。但實(shí)測(cè)中在Uki發(fā)布一段嬌喘音頻會(huì)先分發(fā)到社區(qū)，在獲得8分鐘時(shí)間的分發(fā)經(jīng)人工審核后方被通知內(nèi)容違規(guī)進(jìn)行刪除，其審查邏輯是審查即時(shí)性的“先發(fā)后審”。

而實(shí)測(cè)中的陌陌對(duì)音頻、視頻的審查最為寬松，自期違規(guī)音頻、視頻內(nèi)容發(fā)布后的數(shù)個(gè)小時(shí)后，其違規(guī)音頻、視頻內(nèi)容都未進(jìn)行刪除處理，甚至可通過其小程序進(jìn)行分享。

（陌陌通過其K歌功能發(fā)布音頻內(nèi)容）

（陌陌的違規(guī)視頻動(dòng)態(tài)自發(fā)布后數(shù)小時(shí)內(nèi)無任何處理）

經(jīng)以上實(shí)測(cè)，目前正進(jìn)行整改的Soul在內(nèi)容審查上的判定標(biāo)準(zhǔn)與懲處力度最為嚴(yán)厲，4款社交軟件中在動(dòng)態(tài)社區(qū)中達(dá)到了4種媒介的完善審查機(jī)制的僅為QQ與Soul。UGC內(nèi)容行業(yè)要升級(jí)審查機(jī)制，繞不過真正“先審后發(fā)”的實(shí)現(xiàn)途徑，尤其陌陌與Uki因?yàn)閷彶椴粐?yán)所帶來的內(nèi)容審查風(fēng)險(xiǎn)就極易失控。

價(jià)值觀仍然是一根金線

上文之所以一直強(qiáng)調(diào)機(jī)器審核的輔助定位和“先審后發(fā)”的重要性，究其根本是因?yàn)槿绻谌狈?qiáng)有力的人工審核主導(dǎo)作用下，就無法實(shí)現(xiàn)內(nèi)容全面風(fēng)控，陌陌與Uki的實(shí)測(cè)案例就應(yīng)該印證了這一點(diǎn)。

不同的敏感內(nèi)容基于表達(dá)主旨有不同的表義，以“聊騷”這一敏感詞內(nèi)容為例，所涉及內(nèi)容在社區(qū)網(wǎng)站是否視為違禁，取決于網(wǎng)站運(yùn)營(yíng)者基于自身價(jià)值觀導(dǎo)向所制定網(wǎng)站規(guī)準(zhǔn)。又例如當(dāng)用戶在社區(qū)中發(fā)表對(duì)美麗向往又不裸露的“性感”內(nèi)容時(shí)，如果單憑機(jī)器思維統(tǒng)一以違禁方式進(jìn)行處理，那么對(duì)用戶體驗(yàn)而已無異為一場(chǎng)災(zāi)難。

在這種場(chǎng)景下，唯有運(yùn)營(yíng)者依據(jù)制定出合理且大眾公認(rèn)的性暗示程度標(biāo)尺進(jìn)行判定，才能達(dá)到用戶體驗(yàn)和內(nèi)容安全的和諧平衡。

人工強(qiáng)干預(yù)除了保障內(nèi)容全面風(fēng)控，其另一重要工作就是引導(dǎo)內(nèi)容社區(qū)的價(jià)值觀走向。在新時(shí)代環(huán)境下，網(wǎng)站開發(fā)者思考如何遵循政策倡導(dǎo)迭代產(chǎn)品尤為關(guān)鍵。以部分網(wǎng)站中推行的青少年模式為例，就是近年來創(chuàng)新地將產(chǎn)品功能設(shè)計(jì)與內(nèi)容運(yùn)營(yíng)相結(jié)合的成功案例。

經(jīng)過近年來網(wǎng)信辦領(lǐng)導(dǎo)下的一系列整頓后，尤其短視頻領(lǐng)域內(nèi)眾多社交媒體內(nèi)部已建立堅(jiān)實(shí)的內(nèi)容審核編輯責(zé)任制，組織架構(gòu)上突出“人”在內(nèi)容風(fēng)控上的主導(dǎo)地位，如“快手”、“抖音”等社區(qū)的內(nèi)容調(diào)性和審核標(biāo)尺的進(jìn)步最為直觀。

但仍有部分已建立內(nèi)容審核編輯責(zé)任制卻落地不到位，擁有較多資源卻又在新媒介內(nèi)容審核上技術(shù)投入不足，以致內(nèi)容審查機(jī)制松懈的網(wǎng)站就需要繼續(xù)努力，肩負(fù)起更多的社會(huì)責(zé)任。仁以為己任，不亦重乎？

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。