頂會,尤其是國際頂會,因其在業(yè)界的巨大影響力,是企業(yè)和個(gè)人的實(shí)力試金場。
被頂會錄用的論文,代表的是對該領(lǐng)域具有重大意義的研究成果。
國際計(jì)算語言學(xué)年會(Annual Meeting of the Association for Computational Linguistics,簡稱ACL)是自然語言處理(NLP)領(lǐng)域的頂級國際會議,ACL 2023 將于2023年7月9-14日在加拿大多倫多舉行。
近日,ACL 2023公布了論文入選結(jié)果,網(wǎng)易云商AI技術(shù)組與上海交通大學(xué)林洲漢老師研究組關(guān)于Transformer方向的論文被大會Findings錄用,技術(shù)實(shí)力耀眼國際舞臺。
ACL:NLP領(lǐng)域最負(fù)盛名的國際頂會之一
ACL到底有多牛?我們或許可以從三個(gè)維度來感受一下
從1963年召開第1屆會議,到2023年已經(jīng)是第61屆,走過半個(gè)多世紀(jì),ACL已經(jīng)成長為了計(jì)算語言學(xué)和自然語言處理領(lǐng)域最高級別、最負(fù)盛名的學(xué)術(shù)會議,每年都會吸引來自世界各地的頂尖學(xué)者、研究者、工程師和企業(yè)家參加。
NLP被譽(yù)為“人工智能皇冠上的明珠”,一方面表明了它的重要性,另一方面也顯現(xiàn)出了它的技術(shù)難度。ACL每年都會開放關(guān)于計(jì)算語言學(xué)和NLP領(lǐng)域的投稿,投稿量逐年攀升,但平均錄用率只在25%上下,2012年僅為19%。能被ACL錄用的論文都是精品中的精品,兼具創(chuàng)新性、科學(xué)性、實(shí)用性、可讀性。
此外,ACL是中國計(jì)算機(jī)學(xué)會(CCF)推薦的A類國際學(xué)術(shù)會議。
論文主題:提出一種新的Fourier Transformer結(jié)構(gòu)
那么,網(wǎng)易云商的這篇論文研究了什么主題?它憑什么在眾多論文中突出重圍?
Transformer作為AI的基礎(chǔ)模型在NLP、CV、Speech等場景下有廣泛應(yīng)用,是業(yè)界共識。但是,Transformer存在self-attention計(jì)算復(fù)雜度高和信息冗余嚴(yán)重的問題。針對此問題,網(wǎng)易云商AI技術(shù)組與上海交通大學(xué)林洲漢老師研究組共同開展研究。
“通過對模型的每層輸入進(jìn)行分析,我們發(fā)現(xiàn)低頻區(qū)間存在尖峰效應(yīng)?;谶@個(gè)發(fā)現(xiàn),我們提出一種新的Fourier Transformer結(jié)構(gòu),通過FFT(快速傅立葉變換)的DCT(離散余弦變換)操作刪除高頻信息,再通過IDCT轉(zhuǎn)化成時(shí)域?qū)崿F(xiàn)序列壓縮。我們在encoder-only和encoder-decoder兩種模型架構(gòu)上使用Fourier Transformer,其中在encoder-decoder架構(gòu)中,通過upsample恢復(fù)列長度?!闭撐淖髡咧?,網(wǎng)易云商資深自然語言處理工程師楊萌介紹了整個(gè)論文的背景和發(fā)現(xiàn)。
實(shí)驗(yàn)結(jié)果證明,F(xiàn)ourier Transformer在時(shí)間復(fù)雜度和空間復(fù)雜度上都有顯著的降低,且在多個(gè)NLP任務(wù)上達(dá)到了SOTA水平(state-of-the-art,目前最佳效果)。
“我們提出的Fourier Transformer結(jié)構(gòu)可以被廣泛應(yīng)用于目前主流的各類深度學(xué)習(xí)模型中(Bert、Bart、RoBERTa等),以實(shí)現(xiàn)訓(xùn)練和推理速度的顯著提升,并在長序列任務(wù)中減少噪聲從而更好地捕捉輸入序列中的長距離依賴關(guān)系來提高模型的泛化性能和精度?!睏蠲冗M(jìn)一步補(bǔ)充了論文研究的創(chuàng)新之處和應(yīng)用價(jià)值。
是學(xué)院派更是實(shí)踐派
在學(xué)術(shù)方面,網(wǎng)易云商展現(xiàn)了AI頭雁的實(shí)力,在具體的應(yīng)用上,網(wǎng)易云商也早已注入各個(gè)場景,進(jìn)行落地開花,讓企業(yè)和消費(fèi)者獲益于NLP。
網(wǎng)易云商旗下七魚智能客服產(chǎn)品是NLP技術(shù)在服務(wù)場景的落地成果,自2016年4月發(fā)布以來,已經(jīng)累計(jì)服務(wù)40萬家企業(yè),連接8億用戶,機(jī)器人累計(jì)咨詢接待量46.8億,平均意圖識別準(zhǔn)確率達(dá)到96%,平均問題匹配率達(dá)到95%,平均問題解決率達(dá)到90%,遠(yuǎn)超行業(yè)水平。
網(wǎng)易云商旗下智能外呼產(chǎn)品是NLP技術(shù)在營銷場景的落地成果,成果破解傳統(tǒng)呼叫產(chǎn)品聲音機(jī)械、反應(yīng)遲鈍、答非所問、頻繁騷擾等問題,打造有溫度、更智能、更懂人心的人機(jī)對話體驗(yàn),極大提高了營銷效率和效果,助力企業(yè)高效深挖存量用戶價(jià)值。
兼顧學(xué)術(shù)研究和場景需求,是學(xué)院派更是實(shí)踐派,探索AI技術(shù),網(wǎng)易云商持續(xù)在路上。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 100億美元史上最大融資的背后,國內(nèi)外巨頭齊瞄準(zhǔn)Data+AI
- 有一種羨慕叫“別人家的年終獎”:京東采銷平均23薪,全網(wǎng)熱議“人的價(jià)值”
- 行業(yè)首個(gè)“人機(jī)大戰(zhàn)”對壘!AI翻譯已媲美人工
- 蘋果開啟年終大促,降價(jià)1200元,被國產(chǎn)手機(jī)嚇怕了?
- 1999 元起,OPPO A5 Pro 超防水、超抗摔、超耐用
- 長三角,如何把數(shù)據(jù)要素變成新長江?
- 大模型,在內(nèi)卷中尋找出口
- 比亞迪“天神之眼”重磅升級:無圖城市領(lǐng)航功能全國開通
- 不愿成為微信的支付寶,注定失敗
- 大廠年終獎全靠猜?京東帶頭透明化
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。