數(shù)據(jù)挖掘大戰(zhàn) 機(jī)器怎么做到“見(jiàn)信如面”

　　視覺(jué)中國(guó)

大數(shù)據(jù)殺熟?隱私換便捷?一度被熱捧的大數(shù)據(jù)挖掘，近日站在了輿論的風(fēng)口浪尖：一些商家利用大數(shù)據(jù)挖掘技術(shù)“殺熟”被網(wǎng)友親測(cè)證實(shí);百度董事長(zhǎng)兼CEO李彥宏一句“中國(guó)人對(duì)隱私問(wèn)題沒(méi)有那么敏感”，更是讓它的處境雪上加霜。大數(shù)據(jù)挖掘技術(shù)就像一位有了負(fù)面新聞的明星，霎時(shí)間光彩暗淡，似乎變成了偷人隱私的小賊。

《大數(shù)據(jù)時(shí)代》一書(shū)暢銷(xiāo)之后的幾年，大數(shù)據(jù)雖不再那么當(dāng)紅，但并未隱退，它的持續(xù)發(fā)展已成為人工智能得以實(shí)現(xiàn)的基礎(chǔ)之一。

那么，大數(shù)據(jù)挖掘究竟是怎樣的技術(shù)?從誕生發(fā)展至今，那些埋頭苦干的技術(shù)人員又讓它長(zhǎng)了哪些本領(lǐng)?面對(duì)大數(shù)據(jù)難以管理的問(wèn)題，有沒(méi)有技術(shù)手段加以控制?

用戶(hù)畫(huà)像：機(jī)器給人類(lèi)貼標(biāo)簽

“通過(guò)打標(biāo)簽的方式建立用戶(hù)畫(huà)像，是數(shù)據(jù)挖掘常用的一種技術(shù)。”北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所多媒體信息處理研究室主任彭宇新教授解釋?zhuān)⒂脩?hù)畫(huà)像就是利用社交網(wǎng)絡(luò)的信息，根據(jù)用戶(hù)社會(huì)屬性、生活習(xí)慣和消費(fèi)行為等信息，抽象出一個(gè)標(biāo)簽化的用戶(hù)模型，目標(biāo)是使機(jī)器實(shí)現(xiàn)類(lèi)似于人的“見(jiàn)信如面”的能力。社交網(wǎng)絡(luò)數(shù)據(jù)是實(shí)現(xiàn)這一目標(biāo)的基礎(chǔ)，機(jī)器對(duì)人的“初相見(jiàn)”多是源自于對(duì)社交網(wǎng)絡(luò)數(shù)據(jù)的挖掘。

標(biāo)簽，通常是通過(guò)對(duì)用戶(hù)信息進(jìn)行分析得到的高度精煉的特征標(biāo)識(shí)，使得機(jī)器方便做信息提取、聚合分析等處理。標(biāo)簽本身無(wú)需再做過(guò)多文本分析等處理工作，這為利用機(jī)器提取標(biāo)準(zhǔn)化信息提供了便利。

“有了標(biāo)簽，計(jì)算機(jī)就能夠自動(dòng)處理與人相關(guān)的信息，能夠通過(guò)算法、模型逐步‘理解’人。”彭宇新介紹，多個(gè)標(biāo)簽共同完成畫(huà)像，整個(gè)過(guò)程可分三步走：一是采集數(shù)據(jù)，即基于文本的信息抓取，口語(yǔ)稱(chēng)為“爬數(shù)據(jù)”;二是用戶(hù)行為建模，通過(guò)機(jī)器學(xué)習(xí)技術(shù)，形成算法模型，判斷用戶(hù)可能的一些行為;三是可視化展現(xiàn)，把機(jī)器運(yùn)算出來(lái)的結(jié)果，通過(guò)能讓人類(lèi)理解的方式展現(xiàn)出來(lái)。這三步是多輪調(diào)整的，在實(shí)際應(yīng)用中，根據(jù)結(jié)果的反饋，以及業(yè)務(wù)需求，可能進(jìn)行二次建模等調(diào)整。

整個(gè)過(guò)程的影響參數(shù)是相對(duì)多元的，不同的行為類(lèi)型，對(duì)于標(biāo)簽信息的權(quán)重影響也不同。以應(yīng)用最廣的商品營(yíng)銷(xiāo)為例，比如網(wǎng)售紅酒，如果“購(gòu)買(mǎi)”權(quán)重計(jì)為5，僅“瀏覽”計(jì)為1，加上瀏覽間隔、駐留時(shí)長(zhǎng)、生活習(xí)慣等，通過(guò)復(fù)雜的算法最終呈現(xiàn)出一個(gè)標(biāo)簽的權(quán)重，再形成畫(huà)像。

基于用戶(hù)畫(huà)像技術(shù)，大數(shù)據(jù)挖掘進(jìn)行分類(lèi)和關(guān)聯(lián)規(guī)則計(jì)算等分析：例如喜歡紅酒的用戶(hù)有多少，喜歡紅酒的人群中，男、女比例是多少，喜歡紅酒的人通常喜歡什么運(yùn)動(dòng)品牌等等。

跨媒體智能識(shí)別：為計(jì)算機(jī)裝上慧眼

“以前文本信息占主流，現(xiàn)在圖像、視頻等多媒體數(shù)據(jù)鋪天蓋地而來(lái)。”彭宇新說(shuō)，后者目前占據(jù)大數(shù)據(jù)的80%以上。

數(shù)據(jù)類(lèi)型發(fā)生的巨大變化，使得智能識(shí)別的任務(wù)更加艱巨。“管不住”和“用不好”的問(wèn)題日益凸顯。“機(jī)器只能讀懂自己的語(yǔ)言。”彭宇新說(shuō)，人類(lèi)世界的所有語(yǔ)言都要轉(zhuǎn)化為機(jī)器理解的語(yǔ)言才能被識(shí)別，以前只處理文本相對(duì)簡(jiǎn)單，而現(xiàn)在要加上復(fù)雜的圖像、視頻等數(shù)據(jù)。

“例如，世界上有數(shù)千種鳥(niǎo)類(lèi)，很多種的差異非常細(xì)微，即使是有專(zhuān)業(yè)知識(shí)的人類(lèi)也很難準(zhǔn)確辨認(rèn)，計(jì)算機(jī)自動(dòng)識(shí)別的難度就更大了。”彭宇新說(shuō)，圖像、視頻內(nèi)容理解的難點(diǎn)在于如何進(jìn)行語(yǔ)義自動(dòng)識(shí)別，這也是他們團(tuán)隊(duì)多年攻關(guān)的課題之一，為此團(tuán)隊(duì)發(fā)明了基于注意力模型和深度增量學(xué)習(xí)的識(shí)別方法。

注意力模型，顧名思義是讓計(jì)算機(jī)自動(dòng)定位圖像的顯著性區(qū)域，以此提高檢測(cè)精度;深度增量學(xué)習(xí)，是指計(jì)算機(jī)能夠利用已經(jīng)學(xué)到的知識(shí)加速對(duì)新知識(shí)的學(xué)習(xí)，同時(shí)通過(guò)動(dòng)態(tài)擴(kuò)容以支持新概念的檢測(cè)。

新模型新算法的發(fā)力，幫助機(jī)器快速識(shí)別圖像、視頻的語(yǔ)義信息。彭宇新團(tuán)隊(duì)近年來(lái)六次參加國(guó)際權(quán)威評(píng)測(cè)TRECVID的視頻樣例搜索比賽均獲第一名，并在與卡內(nèi)基梅隆大學(xué)、牛津大學(xué)、IBMWatson研究中心等參賽隊(duì)伍的較量中勝出。其中一個(gè)題目就是在464個(gè)小時(shí)的視頻中快速準(zhǔn)確地找出所有的倫敦地鐵標(biāo)志，彭宇新團(tuán)隊(duì)僅用了不到1秒就成功勝出，獲得第一名。

單媒體信息的分析與識(shí)別之上，如何進(jìn)一步讓機(jī)器像人類(lèi)一樣能看、能理解呢?

為達(dá)到跨媒體信息融合與一體化分析識(shí)別的目的，項(xiàng)目團(tuán)隊(duì)首先把數(shù)據(jù)按照不同媒體類(lèi)型自動(dòng)分發(fā)到對(duì)應(yīng)的分析與識(shí)別模塊。例如，對(duì)視頻鏡頭進(jìn)行分割、對(duì)關(guān)鍵幀進(jìn)行提取，然后分發(fā)到鏡頭檢索、片斷檢索、視頻字幕識(shí)別等模塊中，對(duì)單媒體分析結(jié)果進(jìn)行跨媒體語(yǔ)義關(guān)聯(lián)分析，實(shí)現(xiàn)跨媒體信息的語(yǔ)義協(xié)同。“一種常用的方法是構(gòu)建第三方空間進(jìn)行跨媒體關(guān)聯(lián)。”彭宇新說(shuō)，“計(jì)算機(jī)根據(jù)我們教它的模型分別為圖像、視頻、文本、音頻抽取表征，再共同投射到一個(gè)第三方空間中，這樣不同媒體的信息就可以對(duì)話(huà)了。”

技術(shù)的“抽絲剝繭”，讓圖像、視頻中的信息可以如文本一般精確透明。“我們是瞄著應(yīng)用去的，準(zhǔn)確率、處理速度都經(jīng)過(guò)多年的優(yōu)化，已經(jīng)可以進(jìn)行實(shí)際應(yīng)用了。”彭宇新介紹，這項(xiàng)技術(shù)不僅幫助新聞媒體等行業(yè)進(jìn)行數(shù)據(jù)管理和檢索，還在助力互聯(lián)網(wǎng)管理部門(mén)對(duì)大數(shù)據(jù)進(jìn)行分析與監(jiān)測(cè)。

延伸閱讀

匿名處理：可預(yù)期的隱私保護(hù)對(duì)策

打破信息控制權(quán)幾乎不可能，但隱私保護(hù)卻有個(gè)很便捷的方法。北京郵電大學(xué)教授楊義先的《安全簡(jiǎn)史》中有個(gè)形象的比喻，如果數(shù)據(jù)在網(wǎng)上“裸奔”，為了不被溯源，最便捷的安全手段是“把臉捂住”。這就是所謂的“匿名化處理機(jī)制”。

“用戶(hù)隱私保護(hù)的相關(guān)規(guī)定要求，數(shù)據(jù)公司在售賣(mài)數(shù)據(jù)時(shí)，需要對(duì)數(shù)據(jù)進(jìn)行匿名化處理。”北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所研究員趙東巖說(shuō)。但為了精準(zhǔn)定位、推送服務(wù)，匿名化處理可能被忽視。“精準(zhǔn)意味著目標(biāo)客戶(hù)群的ID指向，而不是向群體發(fā)送，因此，個(gè)性化推送和匿名化處理在目前的技術(shù)中是相互沖突的。”

針對(duì)上面的沖突，業(yè)界的先行者提出一種區(qū)塊鏈的解決思路。“我稱(chēng)它為OFID。”北京領(lǐng)主科技公司研究人員劉偉泰說(shuō)，“大數(shù)據(jù)的本質(zhì)是群體研究，但是群體粒度可以細(xì)一些，此外，區(qū)塊鏈技術(shù)可以授予用戶(hù)授權(quán)的方法。”

不難想象，隨著新技術(shù)的不斷創(chuàng)新，會(huì)有更多用于信息安全的技術(shù)突破，不是一門(mén)心思用于大數(shù)據(jù)挖掘，而是也能用于制衡“信息控制權(quán)”。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。