近日，騰訊云小微及騰訊云TI-ONE聯(lián)合團(tuán)隊(duì)在大型深層閱讀理解任務(wù)數(shù)據(jù)集 RACE 數(shù)據(jù)集(ReAding Comprehension dataset collected from English Examinations)上登頂?shù)谝弧?jù)了解，在此次比賽中，騰訊云小微及騰訊云TI-ONE聯(lián)合團(tuán)隊(duì)在基于ALBERT預(yù)訓(xùn)練模型上，取得了單模型90.7%和集成模型91.4%正確率的成績。
采用全新訓(xùn)練策略，騰訊云小微及騰訊云TI-ONE聯(lián)合團(tuán)隊(duì)展現(xiàn)AI實(shí)力
RACE 是一個來源于中學(xué)考試題目的大規(guī)模閱讀理解數(shù)據(jù)集，包含了大約 28000 個文章以及近 100000 個問題。它的形式類似于英語考試中的閱讀理解(選擇題)，給定一篇文章，通過閱讀并理解文章(Passage)，針對提出的問題(Question)從四個選項(xiàng)中選擇正確的答案(Answers)。
據(jù)了解，深度閱讀理解的難度在于，正確答案的文字并沒有直接使用文章中的話術(shù)來回答，不能通過檢索文章獲取答案，而是要從語義層面深度理解文章來作答。想要提高閱讀正確率，就需要機(jī)器模型通過分析文章中的線索并基于上下文推理，選出正確答案，這對參賽團(tuán)隊(duì)的算法技術(shù)提出了更高的要求。
因此，騰訊云小微團(tuán)隊(duì)通過全新的訓(xùn)練策略來實(shí)現(xiàn)突破。他們跳出從現(xiàn)有的四個選項(xiàng)中選出一個正確答案的固定模式，采用獨(dú)立地考慮每一個答案是否合理的方式，同時利用多種其他形式的閱讀理解數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)，大大提高了閱讀理解的準(zhǔn)確率，并在基于ALBERT預(yù)訓(xùn)練模型上，取得了單模型90.7%和集成模型91.4%正確率的成績，贏得了本次比賽的冠軍。
除此之外，在本次比賽上，騰訊云TI-ONE聯(lián)合騰訊優(yōu)圖和機(jī)智團(tuán)隊(duì)在單機(jī)性能優(yōu)化、分布式多機(jī)擴(kuò)展和AutoML收斂優(yōu)化方面也作出了諸多開創(chuàng)性貢獻(xiàn)。
在單機(jī)性能方面，基于ALBERT的原生代碼，TI-ONE引入了Nvidia的APEX的混合精度訓(xùn)練，并采用動態(tài)loss scaling進(jìn)行正確的權(quán)重更新，保證最終模型的精度沒有因?yàn)榈途扔?xùn)練而有所損失，最終，單卡性能提升為原來的3.6倍。
在多機(jī)擴(kuò)展方面，由于PyTorch原生的DDP通信框架在公有云VPC網(wǎng)絡(luò)擴(kuò)展性不好，團(tuán)隊(duì)采用自研的TI-Horovod通信加速框架，利用2D-AllReduce和多流通信等技術(shù)，把多機(jī)訓(xùn)練ALBERT性能提升為原來的5.5倍。
另外，AutoML收斂方面，騰訊自研的TI-AutoML框架解決了模型集成困難和大規(guī)模長任務(wù)調(diào)參效果差的問題，便捷地與ALBERT模型集成，同時針對ALBERT模型pretrain和fine-tune兩階段訓(xùn)練的特點(diǎn)，采用了不同的自動調(diào)參策略，最后在騰訊云海量算力的加持下，調(diào)參效率相對人工調(diào)參提升了8倍，徹底把算法工程師從繁瑣的手工調(diào)參中解放出來，讓精力更多的聚焦在更有意義的模型算法創(chuàng)新工作上。
技術(shù)突破讓AI應(yīng)用日漸廣泛，在多行業(yè)領(lǐng)域落地應(yīng)用
深度閱讀理解是目前AI領(lǐng)域中最受關(guān)注、進(jìn)步最快的技術(shù)方向。如何提高機(jī)器深度閱讀理解的正確率，是業(yè)內(nèi)一直在關(guān)注和探索的問題。此次騰訊聯(lián)合團(tuán)隊(duì)創(chuàng)新的訓(xùn)練策略，和在單機(jī)性能優(yōu)化、分布式多機(jī)擴(kuò)展和AutoML收斂優(yōu)化等方面的技術(shù)提升，將給AI技術(shù)領(lǐng)域帶來新的突破。
不止是在深度閱讀理解領(lǐng)域有所突破，此次參賽的騰訊云小微團(tuán)隊(duì)專注于AI技術(shù)領(lǐng)域，在機(jī)器翻譯、人機(jī)對話、閱讀理解、自動摘要等領(lǐng)域內(nèi)都有所研究，其相關(guān)技術(shù)多次獲得業(yè)內(nèi)的認(rèn)可。在AIIA2020人工智能開發(fā)者大會上，騰訊云小微獲得多項(xiàng)技術(shù)評測認(rèn)證;在DSTC第八屆對話系統(tǒng)技術(shù)挑戰(zhàn)賽中，則獲得四項(xiàng)第一;在CAIL2019司法人工智能挑戰(zhàn)賽閱讀理解第一名的好成績。
當(dāng)前，人工智能作為經(jīng)濟(jì)發(fā)展的新動力以及新一輪產(chǎn)業(yè)變革的核心驅(qū)動力，機(jī)器翻譯、人機(jī)對話、閱讀理解等AI技術(shù)正在教育、文旅、出行等多個領(lǐng)域內(nèi)落地應(yīng)用。在這種背景下，騰訊云小微團(tuán)隊(duì)?wèi){借全棧AI語音能力，以及騰訊內(nèi)外部豐富的內(nèi)容和服務(wù)生態(tài)，為各行各業(yè)輸出完整的AI解決方案，不斷滲透智慧生活各個場景。據(jù)了解，目前已在智能網(wǎng)聯(lián)汽車、智慧文旅、智慧教育、智能家居等多行業(yè)領(lǐng)域落地應(yīng)用，服務(wù)廣泛的用戶群體。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
