NeurIPS 2019拉開帷幕 百度大秀NLP、深度學(xué)習(xí)技術(shù)肌肉

2019 年 12 月8 日-14 日，機(jī)器學(xué)習(xí)領(lǐng)域國際頂級(jí)會(huì)議 NeurIPS 2019于加拿大溫哥華拉開帷幕。此次大會(huì)共吸引了全球1萬余名專家學(xué)者共赴盛會(huì)。本年度，自然語言處理領(lǐng)域在深度學(xué)習(xí)浪潮下取得了顯著成就，成為大會(huì)重要議題之一。

百度舉辦了自然語言處理專題研討會(huì)，百度技術(shù)委員會(huì)主席、自然語言處理首席科學(xué)家吳華博士以及多名研究員和工程師，向現(xiàn)場(chǎng)參會(huì)者全面介紹了百度在這一領(lǐng)域的長期積累與全新突破?；诰哂型耆灾髦R(shí)產(chǎn)權(quán)的飛槳平臺(tái)，百度自然語言處理在語義計(jì)算、閱讀理解、多輪對(duì)話、機(jī)器翻譯、開放平臺(tái)與數(shù)據(jù)等方向均取得了突破性進(jìn)展，并進(jìn)行了大規(guī)模產(chǎn)業(yè)化應(yīng)用。

百度技術(shù)委員會(huì)主席、自然語言處理首席科學(xué)家吳華

預(yù)訓(xùn)練方面，百度提出知識(shí)增強(qiáng)的語義表示模型 ERNIE及持續(xù)學(xué)習(xí)語義理解框架 ERNIE 2.0，在共計(jì) 16 個(gè)中英文任務(wù)上超越 BERT、XLNET，取得了 SOTA 的效果。11月，百度發(fā)布基于ERNIE的語義理解開發(fā)套件。從原理、應(yīng)用到開源及平臺(tái)化，百度在NLP預(yù)訓(xùn)練領(lǐng)域進(jìn)行了極具價(jià)值的創(chuàng)新及實(shí)踐。

機(jī)器閱讀理解，已成為評(píng)估機(jī)器語言理解能力的重要方式，也是搜索引擎和對(duì)話系統(tǒng)等行業(yè)應(yīng)用中的關(guān)鍵技術(shù)。百度建設(shè)及發(fā)布了最大規(guī)模的中文閱讀理解數(shù)據(jù)集DuReader；在泛化方面提出訓(xùn)練框架D-NET，從多模型融合、多任務(wù)學(xué)習(xí)的角度提升模型的泛化能力；

對(duì)于對(duì)抗樣本的攻擊，提出了一種面向閱讀理解的對(duì)抗訓(xùn)練方法；提出文本表示和知識(shí)表示的融合模型KT-NET，以解決需要外部知識(shí)和常識(shí)的問題。其中具有高魯棒性和遷移能力的閱讀理解模型在今年MRQA 閱讀理解評(píng)測(cè)中奪得冠軍。

對(duì)話方面，提出了基于深度注意網(wǎng)絡(luò)的多輪響應(yīng)選擇匹配模型 DAM(Deep Attention Matching Network)，顯著提高了口語理解能力。 在對(duì)話系統(tǒng)框架中，百度一方面提供了可編程的對(duì)話管理框架，并內(nèi)置了多個(gè)常用標(biāo)準(zhǔn)對(duì)話范式，為在云端開發(fā)靈活可變的業(yè)務(wù)對(duì)話邏輯提供了便利。另一方面，提供了需求分發(fā)和全局記憶機(jī)制，支持多個(gè)對(duì)話任務(wù)的集成與聯(lián)動(dòng)，提高了對(duì)話技能的可復(fù)用性，降低了新業(yè)務(wù)的重復(fù)開發(fā)成本。 百度可定制對(duì)話技術(shù)依托百度大腦 UNIT 3.0 平臺(tái)，支持 5 萬多個(gè)對(duì)話技能，廣泛應(yīng)用于行業(yè)客戶。

機(jī)器翻譯領(lǐng)域，百度相繼提出了多任務(wù)學(xué)習(xí)、多智能體聯(lián)合訓(xùn)練等前沿方法，并在2019年國際權(quán)威WMT評(píng)測(cè)中取得中英翻譯第一。機(jī)器同聲傳譯方面百度走在領(lǐng)域前沿，提出了首個(gè)具有預(yù)測(cè)和可控時(shí)延的同傳模型，首個(gè)語義單元驅(qū)動(dòng)的上下文同傳模型，并研發(fā)了業(yè)內(nèi)首個(gè)語音到語音的同傳系統(tǒng)，為用戶提供高質(zhì)量、低時(shí)延的同傳體驗(yàn)。值得一提的是，基于在此領(lǐng)域取得的進(jìn)步，由百度主導(dǎo)，聯(lián)合Google、Facebook、Upenn、清華等海內(nèi)外頂尖企業(yè)及高校共同組織首屆機(jī)器同傳研討會(huì)，將在本領(lǐng)域頂級(jí)會(huì)議ACL 2020召開，并將舉辦國際首屆同傳評(píng)測(cè)，以進(jìn)一步促進(jìn)技術(shù)發(fā)展。此外，百度還將在領(lǐng)域權(quán)威會(huì)議EMNLP 2020中舉辦機(jī)器同傳tutorial，就機(jī)器同傳的原理、方法、前沿進(jìn)展進(jìn)行講座。

百度自然語言處理領(lǐng)域產(chǎn)出的卓越成果背后所運(yùn)用的底層框架，是自研的開源深度學(xué)習(xí)平臺(tái)百度飛槳。近兩年來，飛槳圍繞深度學(xué)習(xí)框架的基本功能、性能、芯片支持的完備性等技術(shù)指標(biāo)進(jìn)行了一系列的易用性開發(fā)和性能迭代，為開發(fā)者提供了優(yōu)于其他深度學(xué)習(xí)框架的使用體驗(yàn)。在開發(fā)能力方面，飛槳除了支持對(duì)常用API的調(diào)用之外，還在編程范式上同時(shí)支持聲明式編程和命令式編程，兼具很好的靈活性和穩(wěn)定性，可滿足不同開發(fā)者的開發(fā)習(xí)慣，更易上手。在訓(xùn)練方面，飛槳平臺(tái)突破了超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練技術(shù)，研制了千億特征、萬億參數(shù)、數(shù)百節(jié)點(diǎn)的開源大規(guī)模訓(xùn)練平臺(tái)，實(shí)現(xiàn)了萬億規(guī)模參數(shù)深度學(xué)習(xí)模型的實(shí)時(shí)更新。在自然語言處理領(lǐng)域，PADDLE-NLP提供了面向6類任務(wù)下的30+算法模型，包括上述工作中ERNIE、D-NET等多個(gè)國際競(jìng)賽的冠軍模型。

論文方面，本屆會(huì)議計(jì)收到6743篇論文投稿，兩年時(shí)間翻了一番，再次創(chuàng)下新紀(jì)錄。其中1428篇論文入選，入選率僅21.1%。百度共有8篇論文被收錄，覆蓋量化壓縮、對(duì)抗訓(xùn)練等諸多前沿方向。

競(jìng)賽方面，在NeurIPS 2019: Learn to Move 強(qiáng)化學(xué)習(xí)賽事中百度再度蟬聯(lián)冠軍，并受邀在Deep RL workshop中進(jìn)行專題報(bào)告。本次比賽的難度非常大，在參賽的近 300 支隊(duì)伍中，僅有 3 支隊(duì)伍完成了最后挑戰(zhàn)。百度基于飛槳的強(qiáng)化學(xué)習(xí)框架 PARL 不僅成功完成挑戰(zhàn)，還大幅領(lǐng)先第二名（1490 vs 1346）。除了在Best Performance Track獲得了第一，相關(guān)技術(shù)論文也在該賽事的Machine Learning Track中獲得了Best Paper Reward.

這些無不顯示著百度在NLP領(lǐng)域的技術(shù)積累與國際影響力。除了密集的學(xué)術(shù)交流討論、報(bào)告之外，NeurIPS 2019的百度展臺(tái)，也吸引了世界各地的參會(huì)者。深度學(xué)習(xí)平臺(tái)飛槳獲得廣泛關(guān)注，眾多參會(huì)者到展臺(tái)咨詢使用及合作事宜；百度AI同傳吸引了來自美國、俄羅斯、日本、加拿大等世界各國的參與者們紛紛體驗(yàn)。

從專題研討、論文分享、競(jìng)賽報(bào)告到多樣的現(xiàn)場(chǎng)系統(tǒng)演示，百度在今年的NeurIPS 2019上深度參與，全面展現(xiàn)了百度的前沿技術(shù)進(jìn)展。以百度為代表的中國AI企業(yè)的頻頻身影，已成為國際人工智能學(xué)術(shù)頂會(huì)中的"新常態(tài)"。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。