AAAI 2020 開幕:百度28篇論文入選 涉及NLP、機器學(xué)習、視覺等領(lǐng)域

立春剛過,人工智能行業(yè)迎來2020年的第一個頂級學(xué)術(shù)大會,2月7日,AAAI 2020在美國紐約拉開了帷幕。本屆大會百度共有28篇論文被收錄,較AAAI 2019的15篇入選成績提升近一倍,本次入選論文涉及機器學(xué)習、自然語言處理、計算機視覺等多個領(lǐng)域,原計劃有多位百度重量級科學(xué)家、研究者將受邀赴會發(fā)表演講。受疫情影響,眾多中國學(xué)者將缺席本次大會,百度作為中國人工智能行業(yè)“頭雁”,通過積極的遠程參與,向世界展示技術(shù)、學(xué)術(shù)能力,提振中國AI開年信心。

自1979年成立至今,AAAI已舉辦34屆,大會匯集了全球頂尖的人工智能領(lǐng)域?qū)<覍W(xué)者,可謂是人工智能行業(yè)的科研風向標。本屆會議共收到的有效論文投稿超過8800篇,其中7737 篇論文進入評審環(huán)節(jié),最終錄取數(shù)量為1591篇,錄取率為20.6%。其中百度入選28篇論文,再創(chuàng)百度參會入選論文數(shù)歷史新高,這一成績在全球范圍中也處于第一梯隊。此次入選的28篇論文覆蓋機器學(xué)習、自然語言處理、計算機視覺等領(lǐng)域,完成了在數(shù)量上和研究方向的雙向突破,創(chuàng)新科研能力可見一斑。

在NLP預(yù)訓(xùn)練領(lǐng)域,百度入選論文《ERNIE 2.0: A Continual Pre-training Framework for Language Understanding》也被選做Oral進行展示。ERNIE 2.0是持續(xù)學(xué)習的語義理解框架,該框架可以增量地學(xué)習海量數(shù)據(jù)中的知識,持續(xù)提升語義理解效果。在ERNIE 2.0中,知識可通過預(yù)訓(xùn)練任務(wù)的形式加入到訓(xùn)練框架,每當引入新任務(wù)時,該框架可在學(xué)習該任務(wù)的同時,不遺忘之前學(xué)到過的信息?;谠摽蚣埽珽RNIE 2.0模型通過命名實體預(yù)測、句子排序結(jié)構(gòu)重建、語義邏輯關(guān)系預(yù)測等預(yù)訓(xùn)練任務(wù),從大規(guī)模訓(xùn)練數(shù)據(jù)中獲取到詞法、句法、語義等多個維度的知識,大幅提升了通用語義理解水平。

ERNIE 2.0同現(xiàn)有的預(yù)訓(xùn)練模型在英文數(shù)據(jù)集合GLUE和9個中文任務(wù)上進行了實驗。 模型在英語任務(wù)上幾乎全面優(yōu)于之前的SOTA模型BERT和XLNet,在7個GLUE任務(wù)上取得了最好的結(jié)果;中文任務(wù)上,ERNIE 2.0模型在所有9個中文NLP任務(wù)上全面優(yōu)于BERT。去年 12月,基于ERNIE 2.0改進的模型在GLUE上首次突破90大關(guān),超越人類基線3個點拿到全球第一。

機器閱讀理解領(lǐng)域,百度入選論文《A Robust Adversarial Training Approach to Machine Reading Comprehension》,討論了機器閱讀理解模型面臨對抗攻擊時的效果魯棒性問題甚至安全問題。通過人工方式發(fā)現(xiàn)、總結(jié)并生成用于訓(xùn)練對抗樣本的方式會產(chǎn)生需要人工參與的缺點,且不可能通過規(guī)則的方式枚舉出所有可能的對抗樣本類型及其規(guī)則。針對此,論文提出一種模型驅(qū)動的方式,使用自動對抗的方法無需人工參與,能夠自動地發(fā)現(xiàn)未觀察過的對抗樣本類型并最終提升閱讀理解的效果魯棒性。

該方法可以簡單地劃分為三個步驟:(1)對每個訓(xùn)練樣本我們利用對抗的方法生成一個干擾向量輸入,使得它能夠誤導(dǎo)當前的閱讀理解模型;(2)采用貪心策略從干擾向量的詞匯權(quán)重中采樣得到對應(yīng)的離散化的干擾文本;(3)使用干擾文本構(gòu)建用于訓(xùn)練的對抗樣本,并重新訓(xùn)練閱讀理解模型并重復(fù)上述步驟直至收斂。

經(jīng)實驗驗證,運用上論文中的對抗訓(xùn)練方法后,在不同的對抗數(shù)據(jù)集上均有非常顯著的效果提升。并發(fā)現(xiàn)論文提出的模型驅(qū)動的方法確實能夠生成多樣性更加豐富的對抗樣本,從而補充人工規(guī)則的不足。同時也發(fā)現(xiàn)使用該方法生成的對抗樣本case仍然較為雜亂,并不具備很好的流利度甚至完全不是自然語言,因此當前對抗生成的方法仍然有較大提升空間。

在計算機視覺領(lǐng)域,百度入選論文《ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection》,并選為oral進行展示。該論文提出了一個全新的雙目3D檢測框架ZoomNet,通過巧妙的利用自適應(yīng)縮放來降低遠距離的深度估計誤差,以及學(xué)習部位特征來進一步提高3D檢測的表現(xiàn)。在主流的KITTI數(shù)據(jù)集3D檢測任務(wù)上,ZoomNet在驗證集上的平均精度(IoU閾值為0.5)超過Pseudo-LiDAR(CVPR19)近10個百分點。對于遠距離(>40m)的車輛,3D檢測精度比Pseudo-LiDAR高了120% 。

論文表示,對于每一個實例,ZoomNet在獲取左右邊界框后,首先對該實例在2D上做細粒度的分析。然后,2D上的前景像素點會被投影到3D空間中用于位姿的回歸。為了充分利用RGB圖像中豐富的紋理提示來進行更準確的視差估計,ZoomNet引入了一個概念簡單的模塊——自適應(yīng)縮放,該模塊同時將2D實例邊界框的大小調(diào)整為統(tǒng)一的分辨率,并相應(yīng)地調(diào)整了相機的固有參數(shù),以實現(xiàn)從調(diào)整分辨率后的圖像中估計出更高質(zhì)量的視差圖,以及對不同深度的實例構(gòu)建相似密度的點云。此外,論文還提出通過學(xué)習實例的部位特征來提高對遮擋的魯棒性,極大的提高了3D檢測的性能。

入選論文數(shù)量的增加可以看出百度AI的學(xué)術(shù)能力已經(jīng)獲得國際認可,而在技術(shù)研發(fā)、產(chǎn)業(yè)落地等方面,百度AI更是拿出實打?qū)嵉摹俺煽儐巍薄?/p>

在過去一年中,百度深度學(xué)習平臺——百度飛槳,累計服務(wù)150多萬開發(fā)者,發(fā)布模型達到16.9萬個,成為中國首個也是目前國內(nèi)唯一開源開放、功能完備的產(chǎn)業(yè)級深度學(xué)習平臺;百度大腦已經(jīng)升級成“軟硬一體AI大生產(chǎn)平臺”,對外開放240項核心AI能力,服務(wù)超過150萬開發(fā)者,日均調(diào)用量突破1萬億次,語音、人臉、NLP、OCR 調(diào)用量中國第一;百度 Apollo已跑入23個城市,測試里程已經(jīng)突破300萬公里,智能駕駛專利1237項,位列全國第一;截至2019年6月,搭載小度助手的智能設(shè)備激活數(shù)量已突破4億臺,小度助手語音交互超過36億次,前三季度,小度有屏音箱出貨量穩(wěn)居全球第一。

百度作為AAAI 2020的金牌贊助商,在全面展示論文研究成果的同時,百度展臺現(xiàn)場也十分火爆,現(xiàn)場交流者眾多,宣傳材料已被“搶光”。

作為中國AI的領(lǐng)軍者,百度AI既是中國AI的底氣,也是中國AI的信心。2020年伊始,百度AI憑借強有力的技術(shù)、科研實力,向全世界注入中國AI強心劑。未來,百度將繼續(xù)沖在前面,“產(chǎn)研”結(jié)合推動技術(shù)創(chuàng)新,帶領(lǐng)中國AI起舞于國際舞臺。

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2020-02-11
AAAI 2020 開幕:百度28篇論文入選 涉及NLP、機器學(xué)習、視覺等領(lǐng)域
立春剛過,人工智能行業(yè)迎來2020年的第一個頂級學(xué)術(shù)大會,2月7日,AAAI 2020在美國紐約拉開了帷幕。

長按掃碼 閱讀全文