騰訊優(yōu)圖賈佳亞在“騰訊·云+未來”AI大數(shù)據(jù)專場(chǎng)分享

騰訊優(yōu)圖實(shí)驗(yàn)室杰出科學(xué)家賈佳亞，香港中文大學(xué)計(jì)算機(jī)科學(xué)工程系終身教授，于 2017 年 5 月 15 日公布消息，全職加入騰訊優(yōu)圖實(shí)驗(yàn)室，負(fù)責(zé)計(jì)算機(jī)視覺、圖像處理、模式識(shí)別等人工智能領(lǐng)域的研究,及人工智能與各應(yīng)用場(chǎng)景結(jié)合的深度探索。

雷鋒網(wǎng)了解到，賈佳亞在加入騰訊后鮮少露面，本次在“騰訊云+未來”AI大數(shù)據(jù)專場(chǎng)做主題演講，也是為數(shù)不多能一窺騰訊優(yōu)圖實(shí)驗(yàn)室及研究成果的公開場(chǎng)合。以下是賈佳亞在今日“騰訊云+未來”AI大數(shù)據(jù)專場(chǎng)所做的主題演講《計(jì)算機(jī)視覺前沿與應(yīng)用》，雷鋒網(wǎng)AI科技評(píng)論對(duì)速記做了不改動(dòng)原意的編輯和整理。

謝謝大家，剛才蔣杰和王龍都介紹了騰訊在整個(gè)騰訊云的部署中，其硬件和它的基礎(chǔ)構(gòu)架上的優(yōu)勢(shì)，我覺得這是一個(gè)非常重要的部分。

我今天給大家講講在 AI 的算法層面，我們能做什么事情。騰訊優(yōu)圖團(tuán)隊(duì)在世界上是做圖像識(shí)別算法非常有優(yōu)勢(shì)的，我們有很強(qiáng)的研發(fā)團(tuán)隊(duì)，在深圳、香港、上海都有自己的研發(fā)隊(duì)伍。這是騰訊這幾年變化最大的地方，也就是我們會(huì)把新的技術(shù)、新的能力、新的硬件、新的軟件全部提供給大家，希望給各位有需求的公司或者是業(yè)務(wù)人員有更加強(qiáng)大的助力。

計(jì)算機(jī)視覺是什么？它其實(shí)就是一種人的理解，我們看到東西的時(shí)候，不僅僅是看到紅綠藍(lán)三種顏色，這是我們最基本的對(duì)顏色的理解。但是當(dāng)我們看一張圖象的時(shí)候，我們不會(huì)分離看每一種顏色，我們會(huì)把它看成一個(gè)整體。這個(gè)圖是我非常喜歡的，但是我想找到是誰創(chuàng)造的，在網(wǎng)上很難找到是誰發(fā)明的圖片，這張圖片是一張非常完美的正連和側(cè)臉的結(jié)合，從一個(gè)角度看，你可以說這是一張正臉，你也可以說是一個(gè)側(cè)臉。

什么叫計(jì)算機(jī)視覺？計(jì)算機(jī)視覺的目標(biāo)是讓計(jì)算機(jī)程序能夠解讀和理解圖片，不僅僅是顏色，而是能夠更高層的理解它的語義、理解它的特征，從表面來看這個(gè)事情是很簡(jiǎn)單的，事實(shí)上很難。1983 年，華盛頓第一次召開計(jì)算機(jī)視覺大會(huì)（雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))AI 科技評(píng)論按：即 CVPR，國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議），到現(xiàn)在已經(jīng)超過了 30 年的歷史。在這 30 多年中，對(duì)我們現(xiàn)在很多從業(yè)者，或者在工業(yè)界的朋友而言，其實(shí)他們并不了解這 30 年里研究者們到底干了什么事情，有什么發(fā)生了。但是到了云的時(shí)代，我們會(huì)發(fā)現(xiàn)能更加直接地對(duì)云的技術(shù)進(jìn)行展示，我們也能更加多地接觸到用戶使用這種技術(shù)。

我們?cè)趺纯创@個(gè)世界？首先我們要理解計(jì)算機(jī)視覺為什么要在 1983 年開始？你想想 1983 年的時(shí)候大家在用什么樣的計(jì)算機(jī)？我之前在別的地方進(jìn)行過一個(gè)講座，我問大家還記不記得 2000 年的時(shí)候我們的是用什么樣的計(jì)算機(jī)。那時(shí)候是沒有 LED 和 LCD 的，那時(shí)候是用的很笨重的、很大的顯示器，那時(shí)候用的手機(jī)是諾基亞，沒有彩色屏幕，全部是一個(gè)單獨(dú)的小機(jī)器，上面一個(gè)很小的屏幕。但在 1983 年的時(shí)候，我們這個(gè)領(lǐng)域開始建立起來的時(shí)候，那時(shí)候連計(jì)算機(jī)的基本能力都不具備，但是當(dāng)時(shí)很多的科學(xué)家已經(jīng)在開始想象，我們能不能在衛(wèi)星圖像上，比如說當(dāng)時(shí)在軍事運(yùn)用上，或者是在一些非常高精尖的應(yīng)用上，在衛(wèi)星或者是載人飛船上面，能不能利用一些機(jī)器幫助人們解決問題，所以那時(shí)候就開始了這方面的研究。

這個(gè)研究是一種類比，我們之所以研究對(duì)視覺的理解過程，是因?yàn)槲覀內(nèi)搜劬褪且环N自然智能，我們能看到東西，當(dāng)我們看到東西之后，我們就會(huì)自然想象，我能不能讓一個(gè)機(jī)器也看到東西，這是很自然的。當(dāng)然我們現(xiàn)在能隔空打物，我也想設(shè)計(jì)一個(gè)新的方案讓機(jī)器也隔空打物，顯然我們現(xiàn)在還不行，所以也不會(huì)讓機(jī)器也這樣。

在大腦皮層里，超過 50% 的神經(jīng)原細(xì)胞是處理視覺的，所以我們說計(jì)算機(jī)視覺是最重要的方向，它代表了信息的多樣性和可用的信息。

計(jì)算機(jī)視覺有三個(gè)打開方式，第一個(gè)是語義理解、識(shí)別、檢測(cè)。當(dāng)我們看到一張圖的時(shí)候，我們能不能像人一樣分析這張圖里有什么東西。比如說現(xiàn)在這樣一個(gè)在開車的人，當(dāng)然這明明是一個(gè)人，只是他戴了一個(gè)頭套，計(jì)算機(jī)會(huì)檢測(cè)到這里面有一個(gè)狼，然后它有藍(lán)色的眼睛，同時(shí)還在開車，這是一個(gè)理解過程、檢測(cè)過程，這就是語義的理解、識(shí)別、檢測(cè)，這是非常重要的一個(gè)計(jì)算機(jī)視覺的內(nèi)容，在騰訊云上以后也會(huì)陸續(xù)輸出這些部分。

其次是不受想象力約束的神奇效果。前幾年有一個(gè)電影是講你在一個(gè)夢(mèng)境里的變化，就是你不停地下樓梯，每次下到最后都回到原點(diǎn)。這個(gè)事情我們作為科學(xué)家來研究到底是什么原理，我們用軟件重構(gòu)了這樣一個(gè)系統(tǒng)，我們確實(shí)可以在視覺模式上把它搭建起來，雖然在語義邏輯上不是很好理解的，但是我們?cè)谝曈X上確實(shí)可以體現(xiàn)出來，最終產(chǎn)生很酷炫的效果，比如說這個(gè)球，它還可以在這上面跳來跳去，跳到最后它就回到原點(diǎn)了，你看他每次都在下臺(tái)階，結(jié)果卻回到了原來的起點(diǎn)，這是一個(gè)特殊的神奇效果，在視覺上可以做的事情。

還有一些固有需求的圖像視頻計(jì)算，比如說我們需要通過一張圖像把一些最重要的內(nèi)容提取出來。

第一個(gè)打開方式，理解識(shí)別。理解識(shí)別的應(yīng)用是非常廣泛的，這張圖是 2006—2012 年我們這個(gè)領(lǐng)域里的一個(gè)非常大的競(jìng)賽，這個(gè)競(jìng)賽叫做 PASCAL，這個(gè)競(jìng)賽是給你超過 1000 張圖像，希望你從這幾千張圖像里面找出其中 20 個(gè)物體的類別。從 2009 年到 2012 年，在這個(gè)領(lǐng)域里有超過 20 種方法解決這個(gè)問題，它的準(zhǔn)確率不斷提高，但是它始終是有瓶頸的，因?yàn)轭悇e很少，我們發(fā)現(xiàn)大家對(duì)這個(gè)比賽的認(rèn)可度也就慢慢降低了。

后來出現(xiàn)了這個(gè)領(lǐng)域里最出名的一個(gè)比賽叫做 IMAGE NET，這是斯坦福大學(xué)的幾個(gè)教授發(fā)起的比賽，它推翻了原來所有一切的競(jìng)賽規(guī)則，他說現(xiàn)在在整個(gè)數(shù)據(jù)庫里包含了超過 14000 萬張圖像，相比以前的幾千張或者幾萬張圖象，這是一個(gè)巨大的進(jìn)步，在量級(jí)上是完全不可同日而語的，同時(shí)它有超過 2 萬多種類別，你告訴我這張圖象是屬于 2 萬個(gè)類別的哪一個(gè)，這一個(gè)非常大的匹配過程和檢測(cè)過程，所以 IMAGE NET 推翻了當(dāng)時(shí)對(duì)數(shù)據(jù)的理解，以前大家專注于做小數(shù)據(jù)，因?yàn)榇蠹矣X得反正我沒有大數(shù)據(jù)，不如就做小數(shù)據(jù)，當(dāng)你在學(xué)術(shù)界真正的把大數(shù)據(jù)放出來的時(shí)候，是有更多的研究人員愿意去跟上的。

這張圖是告訴大家，我們從 2010 年到 2014 年的時(shí)候，開始在這個(gè)數(shù)據(jù)庫上做事情，最開始 2010 年的時(shí)候，大家發(fā)現(xiàn)我們的錯(cuò)誤率是 28%，也就是說有 100 張圖像里面，有 28 張圖像是分錯(cuò)的，就是說它是找不到的，這個(gè)準(zhǔn)確率已經(jīng)是一個(gè)比較可以的準(zhǔn)確率，大家會(huì)覺得，可能放在一些不太重要的崗位上或者應(yīng)用上的時(shí)候就可以用了。但是到了 2011 年的時(shí)候，我們把它提高了 2%，也就是說現(xiàn)在可以多兩張圖像，能做得更好了。到 2012 年的時(shí)候，我們發(fā)現(xiàn)多了 10%，也就是說在 100 張圖像里面多 10 張圖片可以分析準(zhǔn)確了。因?yàn)槟且荒瓿霈F(xiàn)了深度學(xué)習(xí)，它驗(yàn)證自己在整個(gè)領(lǐng)域里面，到底能不能推動(dòng) AI 的進(jìn)程，就是通過這樣一個(gè)競(jìng)賽，通過在那一年時(shí)間，把準(zhǔn)確率提高 10% 這樣一次事件，導(dǎo)致對(duì)于整個(gè)世界上所有的領(lǐng)域、所有的人，業(yè)界和學(xué)術(shù)界開始意識(shí)到，我們可以把這個(gè)事情做得更好。到現(xiàn)在可以做到 100 張圖里只有一兩張圖是錯(cuò)誤的，這個(gè)識(shí)別率遠(yuǎn)遠(yuǎn)高過人的識(shí)別率。人眼看一張圖，你能分辨 2 萬個(gè)種類嗎？這是很難的事情。

另外一個(gè)就是檢測(cè)，大家看到檢測(cè)已經(jīng)慢慢的變成這個(gè)領(lǐng)域的核心的內(nèi)容或者是應(yīng)用方向。大家可以想像以后我們的智能家居是什么樣的，以后智能家居重要的應(yīng)用可能是冰箱，你打開冰箱的時(shí)候，你會(huì)發(fā)現(xiàn)里面堆滿了各種各樣的東西，有蘋果、梨、蔬菜、肉類，現(xiàn)在我們想進(jìn)入智能家居的第一步，是不是說我打開一個(gè)冰箱，讓電腦自動(dòng)知道里面還有多少庫存，如果庫存不夠的時(shí)候，我們要不要上京東去購(gòu)買一些，或者我要去其它的電商買一些東西回來，這是一個(gè)很有趣的應(yīng)用，我相信很多人或者是機(jī)構(gòu)都在研發(fā)這些技術(shù)，其中一個(gè)重要的組成部分，在算法層面上，就是對(duì)物體的檢測(cè)，也就是說我們希望發(fā)現(xiàn)中間到底這個(gè)是蘋果還是西紅柿，或者是其他的什么東西，它有多大，數(shù)量有多少，它能不能夠用一個(gè)禮拜，或者說只夠用 3 天，或者說你現(xiàn)在就必須買，否則明天就沒飯吃了，這種狀況下，我們希望通過一個(gè)檢測(cè)來發(fā)現(xiàn)。

再往下走就是在最新的研究上，我希望能夠分析到更加細(xì)顆粒度的圖象識(shí)別，這個(gè)問題就對(duì)于智能駕駛、輔助駕駛，或者是大規(guī)模的城市理解和建設(shè)有著巨大的推動(dòng)作用，因?yàn)樵谶@樣一個(gè)城市級(jí)的道路復(fù)雜環(huán)境下，你會(huì)看到每個(gè)東西都在動(dòng)，上面一張圖在下面會(huì)分割成不同的部分，機(jī)器會(huì)告訴你，我識(shí)別了這個(gè)車，識(shí)別了這個(gè)樹，我也識(shí)別了這個(gè)電線桿和路，在智能駕駛或者輔助駕駛里需要有這樣的顆粒度，越精細(xì)越好，以后希望通過計(jì)算機(jī)視覺幫助我們?cè)?a href="http://ygpos.cn/%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6_1.html" target="_blank" class="keylink">自動(dòng)駕駛這個(gè)新興產(chǎn)業(yè)，這個(gè)市場(chǎng)規(guī)?？赡苁怯袔兹f億美金，在這樣的市場(chǎng)下，怎么體現(xiàn)我們?cè)谄渲械募夹g(shù)實(shí)力，這是一個(gè)重要的部分。

第二個(gè)打開方式：新視覺效果。我給大家介紹一些好玩的東西。這是很早的一個(gè)連續(xù)劇，它當(dāng)時(shí)有一個(gè)片頭，就是這個(gè)人慢慢的從一張素描變成了一個(gè)人的狀態(tài)，這個(gè)過場(chǎng)在當(dāng)時(shí)是非常酷炫的。這是藝術(shù)家做出來的，他請(qǐng)了專門的人幫你畫了一張素描的圖，然后把這個(gè)圖貼到視頻里面慢慢的做轉(zhuǎn)換，現(xiàn)在的 AI 已經(jīng)自動(dòng)實(shí)現(xiàn)這種功能了，比如說看到非常漂亮的自然場(chǎng)景的時(shí)候，我們團(tuán)隊(duì)研發(fā)的 AI 技術(shù)可以自動(dòng)的產(chǎn)生非常有趣的一些效果，能夠把它變成鉛筆畫、水彩畫、油畫，甚至是各種抽象的畫法，我們?cè)?2011 年的時(shí)候已經(jīng)有這方面的一系列的論文介紹這件事情，這個(gè)現(xiàn)在變成了一個(gè)可控的東西，每一個(gè)客戶想去使用這樣的功能的時(shí)候，通過我們的云，通過我們這樣一些技術(shù)的擴(kuò)展方向，我們可以把這件事情很容易的做到，以往你可能需要請(qǐng)一個(gè)藝術(shù)家坐在邊上，大概花一天或者兩天時(shí)間幫你設(shè)計(jì)這樣?xùn)|西，今天你可能只要打開電腦，接上我們的網(wǎng)絡(luò)，用上我們這樣一個(gè) API 或者 SDK，然后你在一秒鐘內(nèi)就得到這樣一個(gè)結(jié)果，這是一個(gè)非常大的進(jìn)步和進(jìn)展，這也是為什么在技術(shù)層面上很多東西可以用的，也就是用得更加舒服，比人的操作來得更加方便和直接。

這是另外一個(gè)例子，我們當(dāng)時(shí)做的時(shí)候有一個(gè)初衷，我們看這張表，大家都有做圖表的經(jīng)驗(yàn)，當(dāng)你做了這個(gè)表格很漂亮的時(shí)候，結(jié)果打印出來發(fā)現(xiàn)并沒有做的時(shí)候這么好的效果，原因是我們?cè)陔娔X做出來的效果很好，但是打印機(jī)打出來的顏色并沒有那么炫。所以我們?cè)谇皫啄昊艘粌蓚€(gè)月的時(shí)間做了一個(gè)非常小的工具，這個(gè)工具就是當(dāng)我看到這樣一張彩色圖的時(shí)候，我能把它自動(dòng)轉(zhuǎn)換成一個(gè)黑白圖象，這樣大家要打印這樣一張彩色圖象的時(shí)候，你可以打印出一張非常漂亮的黑白圖象，這樣你就可以用一個(gè)普通的黑白打印機(jī)，打印出一個(gè)效果上可以媲美于彩色打印機(jī)的功能，當(dāng)然這個(gè)功能我們當(dāng)年是想推銷給各種各樣的打印機(jī)公司的，好像打印機(jī)公司也沒有興趣，最后我們就沒有用上。

這是另外一個(gè)例子，我們經(jīng)常會(huì)畫餅狀圖，在 PPT 里畫的很好看，結(jié)果打印出來給老板觀察的時(shí)候發(fā)現(xiàn)分不出具體的顏色的細(xì)節(jié)。我們就通過一個(gè)算法把它直接變成這樣一張黑白打印的效果，最后出來的時(shí)候，我們可以在 29 毫秒之內(nèi)，把這張圖轉(zhuǎn)變成可以接受的效果，這也是一個(gè)技術(shù)的進(jìn)步，當(dāng)然我們做這個(gè)事情也就花了大概一個(gè)月不到的時(shí)間，這是我覺得有趣的地方，計(jì)算機(jī)視覺永遠(yuǎn)可以產(chǎn)生一些新的大家想象不到的效果。

第三個(gè)打開方式：固有需求的圖像視頻計(jì)算。比如說我要做視頻，我希望做前景、背景分割，我需要做手勢(shì)識(shí)別，我需要做人的操作，在圖像里面做一些逆運(yùn)算，比如說去模糊，我看到這樣一張圖，比如說你跟領(lǐng)導(dǎo)站在臺(tái)上拍了一張照片，或者是你在領(lǐng)獎(jiǎng)的時(shí)候，或者是好不容易見到一個(gè)你想見的朋友，大家在一塊兒開心的照了一張照片，結(jié)果照模糊了，這時(shí)候你就面臨一個(gè)非常尷尬的境地，因?yàn)槟悴豢赡茉倩氐皆瓉淼膱?chǎng)地再拍一張照片，所以我們當(dāng)時(shí)在設(shè)計(jì)算法的時(shí)候就在想，能不能通過這張圖回復(fù)其中的固有信息呢？我們通過一個(gè)非常高級(jí)的計(jì)算過程，可以把中間所存在的一些字或者是一些重要的信息重構(gòu)出來，這樣的結(jié)果是可以通過我們現(xiàn)在的算法完整實(shí)現(xiàn)的。

這是另外一個(gè)例子，這個(gè)圖是什么東西，估計(jì)在座的沒有幾位能看得清楚，但是我們通過算法可以告訴你，這是一張城市方向的圖像，我們甚至可以看得出來上面是「多倫多」，是在這個(gè)城市拍攝的圖像。

還有一個(gè)是強(qiáng)迫透視。大家如果喜歡攝影，你會(huì)發(fā)現(xiàn)這個(gè)很有意思，這是一雙筷子，好像是在夾光點(diǎn)，其實(shí)是在拍照的時(shí)候特意布置的場(chǎng)景。甚至我們可以做這樣一個(gè)場(chǎng)景，前面有一個(gè)人在吹，后面的人全倒的狀況，實(shí)際上前景、后景是有深度分別的，這也是在計(jì)算機(jī)運(yùn)算里面非常有趣的效果。我們?cè)谇皟赡甑臅r(shí)候開始研究這樣一些效果上面，是不是背后有自己的原因，我們找找看它的幾何的原因，我們分析對(duì)一張完全清晰的圖象，我們也可以分析各個(gè)邊緣的細(xì)小的分別，通過這些細(xì)小的分別，我們可以得到一張圖象以后，然后我們可以在后期再去把它變成單反效果，可以把背景虛化，把前景凸顯出來，甚至我們可以切換，把這個(gè)模糊的地方換得不一樣，把聚焦點(diǎn)放在別的地方。我知道在所有的相機(jī)廠商采用這個(gè)方法之前，我們?cè)趯W(xué)術(shù)界里面已經(jīng)有了一個(gè)非常大的研究，我們?cè)谶@上面是有一系列論文在解決這個(gè)問題的，當(dāng)然現(xiàn)在也有一些廠商是在用我們這個(gè)技術(shù)，在實(shí)現(xiàn)自己的一個(gè)后期的單反效果的增強(qiáng)。

這是其中的一個(gè)例子，比如說在一張圖像上，我先拍一張圖像，后期在這個(gè)手機(jī)上我可以重新做虛化，顯示哪個(gè)地方是你想要的，哪個(gè)地方是你不想看的，這也是技術(shù)發(fā)展的一些有趣的進(jìn)展。每到一個(gè)時(shí)刻，我們總會(huì)產(chǎn)生一些新的大家想象不到的事情，這些都會(huì)自然而然的產(chǎn)生。

我們優(yōu)圖團(tuán)隊(duì)實(shí)驗(yàn)室著力于在做一些最前沿的研發(fā)，我們希望把視覺、自然語言處理和語音這樣三個(gè)大的方向結(jié)合起來，在語音這一塊，我們?cè)谛∥⒌膶?chǎng)里面還有另外一個(gè)同事會(huì)介紹我們?cè)谡Z音合成、人聲分離等等一系列的技術(shù)上的進(jìn)展，所以大家有興趣可以在小微專場(chǎng)看到我們的另外一個(gè)介紹。

在視覺這一塊，新的視覺體驗(yàn)、識(shí)別和視覺內(nèi)容計(jì)算，這是我們不可分割的三個(gè)巨大的方向。在接下來可能會(huì)有更多的方向，但是在這幾個(gè)方向上，我們要做的事情，或者是我們的能力是能夠得到充分體現(xiàn)的。其實(shí)我加入騰訊的時(shí)間并不長(zhǎng)，但是我覺得我們整個(gè)優(yōu)圖團(tuán)隊(duì)在騰訊里面所產(chǎn)生的價(jià)值，因?yàn)橛辛嗽频牟渴?，我們?yōu)圖的能力會(huì)擴(kuò)展得更加快一些。以后如果是我們的客戶，一定會(huì)接觸到更多更有趣的效果和應(yīng)用。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。