從圖像識(shí)別走向視頻識(shí)別，眾安科技推出視頻深度學(xué)習(xí)利器

自動(dòng)駕駛領(lǐng)域的技術(shù)變革呼之欲出。

如果說，自動(dòng)駕駛大規(guī)模落地的痛點(diǎn)在于深度學(xué)習(xí)的范疇僅限于圖像等靜態(tài)材料，那很快，自動(dòng)駕駛深度學(xué)習(xí)的范圍將擴(kuò)展到視頻領(lǐng)域。

近日，眾安信息技術(shù)服務(wù)有限公司(以下簡(jiǎn)稱“眾安科技”)數(shù)據(jù)科學(xué)實(shí)驗(yàn)室的論文”Dense Dilated Network for Few Shot Action Recognition”(《基于密集擴(kuò)展網(wǎng)絡(luò)的少樣本視頻動(dòng)作識(shí)別》)被ICMR(國(guó)際多媒體圖像分析峰會(huì))錄用，這是深度學(xué)習(xí)在視頻分類領(lǐng)域的創(chuàng)新應(yīng)用，在駕駛行為分析、視頻檢索等領(lǐng)域有重要的業(yè)務(wù)價(jià)值。

深度學(xué)習(xí)進(jìn)入“視頻學(xué)習(xí)”時(shí)代

“讀圖”已經(jīng)無法滿足機(jī)器的學(xué)習(xí)胃口。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表面特征的方法，其概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。目前，深度學(xué)習(xí)的主要素材來源于文字、圖片，而隨著智能手機(jī)等設(shè)備的發(fā)展，視頻沉淀了大量深度學(xué)習(xí)素材。近年來人工智能、神經(jīng)網(wǎng)絡(luò)的發(fā)展更是促進(jìn)了視頻的分類、識(shí)別的研究。

不過，機(jī)器想要學(xué)習(xí)視頻素材絕非易事。一般來說，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)需要大量標(biāo)記良好的數(shù)據(jù)。對(duì)于機(jī)器來說，由于視頻動(dòng)作、視角較多，且視頻每秒都包含了20-30幀畫面，數(shù)據(jù)規(guī)模較大，機(jī)器的標(biāo)注難度比標(biāo)注圖像復(fù)雜很多倍。另一方面，就視頻本身而言，雖然不同的視頻內(nèi)容差異很大，但同一類的視頻在語義上有著很高的相似性，對(duì)于機(jī)器學(xué)習(xí)來說，如何避免“重復(fù)勞動(dòng)”也是擺在現(xiàn)實(shí)面前的一道難題。

針對(duì)上述難題，眾安科技通過在視頻多樣性中提取高層共有的特性來實(shí)現(xiàn)機(jī)器學(xué)習(xí)。

眾安科技方面表示，基于機(jī)器學(xué)習(xí)視頻的痛點(diǎn)，數(shù)據(jù)科學(xué)實(shí)驗(yàn)室研發(fā)了一種新穎的神經(jīng)網(wǎng)絡(luò)架構(gòu)來同時(shí)捕獲局部信息和整體時(shí)空信息。具體來看，眾安科技采用了擴(kuò)張卷積網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)的不同層之間，使用密集連接的方式組合，由此可以融合每一層的輸出，從而學(xué)習(xí)視頻的高級(jí)特征。

和其他網(wǎng)絡(luò)架構(gòu)相比，眾安科技的這款神經(jīng)網(wǎng)絡(luò)架構(gòu)利用每層與之前所有層相連的方式，可以得到從最初局部特征到總體視頻的所有特征信息。而每層網(wǎng)絡(luò)使用了擴(kuò)張卷積(dilated convolution)，相比原始的卷積方式，可以更加充分利用時(shí)空信息。因此不需要很深的層數(shù)，在少量數(shù)據(jù)下就可以訓(xùn)練效果較好的網(wǎng)絡(luò)。

以目前動(dòng)作類別數(shù)、樣本數(shù)較多的數(shù)據(jù)庫(kù)之一UCF101為例，眾安科技在此數(shù)據(jù)庫(kù)的通用視頻數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，在僅有20%的訓(xùn)練數(shù)據(jù)時(shí)(模擬對(duì)新任務(wù)的快速學(xué)習(xí))，利用該神經(jīng)網(wǎng)絡(luò)架構(gòu)，機(jī)器仍然可以學(xué)到每類視頻的高層語義特征。

視頻深度學(xué)習(xí)下個(gè)落地場(chǎng)景：出行、醫(yī)療

視頻深度學(xué)習(xí)有望率先在出行和醫(yī)療領(lǐng)域落地。

眾安科技研發(fā)的這款神經(jīng)網(wǎng)絡(luò)架構(gòu)在實(shí)戰(zhàn)中也有很高的應(yīng)用價(jià)值，由于該架構(gòu)只需要少量訓(xùn)練數(shù)據(jù)就可以促進(jìn)不同任務(wù)之間的遷移學(xué)習(xí)，幫助系統(tǒng)快速上線，從而減少了大量采集數(shù)據(jù)和訓(xùn)練過程。

如在車險(xiǎn)領(lǐng)域，可以使用該方法對(duì)路口監(jiān)控或行車記錄儀等視頻進(jìn)行快速分析，識(shí)別碰撞和高危駕駛片段，從而對(duì)車主的駕駛行為進(jìn)行建模，實(shí)現(xiàn)車險(xiǎn)的自主定價(jià)。

此外，在醫(yī)療方面，目前人工智能輔助醫(yī)療的手段除了CT圖片等，還有許多造影等多樣的數(shù)據(jù)有待分析。該方法利用時(shí)序信息，可以針對(duì)造影進(jìn)行識(shí)別診斷，尤其是對(duì)于病例較少的罕見病分析更為高效。

眾安科技數(shù)據(jù)科學(xué)實(shí)驗(yàn)室認(rèn)為，該神經(jīng)網(wǎng)絡(luò)架構(gòu)針對(duì)出行和醫(yī)療領(lǐng)域會(huì)有較大的幫助，這也是該團(tuán)隊(duì)未來產(chǎn)學(xué)研結(jié)合的落地方向之一。

ICMR(國(guó)際多媒體圖像分析峰會(huì))是中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦的B類會(huì)議，在多媒體檢索會(huì)議中排名第一，在圖形學(xué)與多媒體大類中排名第五。

“Dense Dilated Network for Few Shot Action Recognition”(《基于密集擴(kuò)展網(wǎng)絡(luò)的少樣本視頻動(dòng)作識(shí)別》)是眾安科技與中科院上海高等研究院以及復(fù)旦大學(xué)聯(lián)合研究的成果。眾安科技的作者為徐寶函(第一作者)、王恒、陸王天宇(通訊作者)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。