摩爾線程聯(lián)合潞晨科技研發(fā)的預(yù)訓(xùn)練語言模型MusaBert（MUSA為摩爾線程提出的通用元計算架構(gòu)），在12月16日的中文語言理解領(lǐng)域權(quán)威CLUE榜單上進入TOP 10，最終以82.889得分在CLUE1.1總排行榜中排名（除人類成績以外）第9，并在AFQMC任務(wù)中以86.92分取得排名第一的成績，這意味著摩爾線程AI在語義理解與匹配能力上超越了人類水平。同時，這也是潞晨科技的AI大模型開發(fā)系統(tǒng)Colossal-AI在自然語言處理領(lǐng)域應(yīng)用的重要進展。
（2022年12月16日CLUE1.1總排行榜最新成績）
相較于CLUE總排行榜TOP 10的其他中文預(yù)訓(xùn)練模型，MusaBert僅包含3億參數(shù)量，是前十名中規(guī)模最小的模型，并且為單模型（single model），沒有進行任何集成。此外，摩爾線程基于MusaBert的語義嵌入模型MusaSim在AFQMC任務(wù)上擊敗一眾大規(guī)模模型，取得第一名，不僅為檢索系統(tǒng)、分類對話等更深度語義理解研究打下堅固基石，也證明了摩爾線程在中文自然語言處理領(lǐng)域和低資源大模型訓(xùn)練方面的強大能力。
一直以來，語義理解都是NLP（自然語言處理）技術(shù)的重要目標，通過一系列AI算法，可將文本解析為結(jié)構(gòu)化的、機器可讀的意圖與詞槽信息。通常來說，訓(xùn)練數(shù)據(jù)的獲取與處理、模型的迭代和訓(xùn)練等都是NLP技術(shù)的落地難點。MusaBert僅使用了極少的參數(shù)量便取得了比肩甚至超越百億參數(shù)大模型的成績，主要是得益于多方面獲得的突破性進展：
· 技術(shù)層面：摩爾線程擁有“軟硬一體”的技術(shù)能力，使得MusaBert能夠從底到上進行優(yōu)化；摩爾線程多功能GPU內(nèi)置AI加速和并行計算等硬件模塊，能夠提供AI和科學(xué)計算在內(nèi)的全棧功能，能夠為AI推理計算加速、低資源大模型訓(xùn)練等應(yīng)用場景提供通用、高性價比、節(jié)能環(huán)保的AI能力。
· 算法層面：MusaBert使用了潞晨科技的AI大模型開發(fā)系統(tǒng)Colossal-AI，在上游訓(xùn)練方面，充分發(fā)揮了該系統(tǒng)的易用性及強大的并行訓(xùn)練性能，同時MusaBert針對模型數(shù)據(jù)預(yù)處理使用的DataLoader進行了優(yōu)化，可以在低資源的條件下快速處理大規(guī)模數(shù)據(jù)；在下游任務(wù)方面，摩爾線程通過采用合適的優(yōu)化建模、在領(lǐng)域內(nèi)進行數(shù)據(jù)增強以及在模型的訓(xùn)練優(yōu)化中采用了先進的Adan優(yōu)化器等方式，盡可能發(fā)掘和展現(xiàn)出預(yù)訓(xùn)練語言模型強大的語義理解能力。摩爾線程自研的語義嵌入模型MusaSim以MusaBert為基座模型，使用對比學(xué)習(xí)方法進行訓(xùn)練，并利用了摩爾線程收集的百萬對有監(jiān)督數(shù)據(jù)。得益于MusaBert和高質(zhì)量的數(shù)據(jù)集，MusaSim不僅在語義相似度任務(wù)上超越了眾多更大規(guī)模的模型，在意圖識別、情緒分析等分類任務(wù)上，也能得到較好的效果。
· 數(shù)據(jù)層面：MusaBert除使用了摩爾線程自身收集的高質(zhì)量語義相似數(shù)據(jù)以外，還使用了200GB悟道開源數(shù)據(jù)和80GB的CLUE社區(qū)數(shù)據(jù)，以及浪潮電子信息產(chǎn)業(yè)股份有限公司提供的1T高質(zhì)量數(shù)據(jù)集。大規(guī)模高質(zhì)量的數(shù)據(jù)使得模型在相對小的規(guī)模下仍然保持了較高的性能。
目前，MusaBert作為基座模型，已經(jīng)應(yīng)用于摩爾線程研發(fā)的智能客服與數(shù)字人等項目，并相繼在下游語義相似度、情緒識別、閱讀理解、聲韻識別等領(lǐng)域落地。
為了更進一步降低大模型開發(fā)和應(yīng)用的門檻，MusaBert代碼現(xiàn)已開源到Colossal-AI倉庫(https://github.com/hpcaitech/ColossalAI/tree/main/examples/language/roberta)，使用該腳本，可在短時間內(nèi)訓(xùn)練出高質(zhì)量的中文Bert模型。包括MusaBert和MusaSim在內(nèi)的一系列高質(zhì)量模型也將在近期開源以貢獻中文NLP社區(qū)。此外，經(jīng)摩爾線程與潞晨科技的嚴格測試，僅通過摩爾線程多功能GPU單卡，即可進行MusaBert甚至是更大規(guī)模的GPT2的訓(xùn)練，大大降低了預(yù)訓(xùn)練成本，這也為雙方實現(xiàn)低資源大模型訓(xùn)練的共同愿景，邁出了堅實一步。
作為中文語言理解領(lǐng)域最具權(quán)威性的測評基準之一，CLUE 涵蓋文本相似度、分類、自然語言推理、閱讀理解等眾多語義分析和理解類子任務(wù)，工業(yè)界和學(xué)術(shù)界紛紛用 CLUE 作為預(yù)訓(xùn)練算法能力的驗證和衡量標準。此次進入CLUE榜單TOP 10，代表了摩爾線程與潞晨科技聯(lián)合研發(fā)團隊在中文預(yù)訓(xùn)練研究領(lǐng)域已達到業(yè)內(nèi)領(lǐng)先水平。
展望未來，摩爾線程還將與潞晨科技緊密合作，著手更適當規(guī)模的自然語言大模型研究，充分利用上游數(shù)據(jù)，產(chǎn)出能力更強的模型并且開源。同時，保持算法和系統(tǒng)兩個層面并行，持續(xù)優(yōu)化大模型在摩爾線程多功能GPU上的訓(xùn)練能力，尤其在單張消費級顯卡等低資源場景下的訓(xùn)練能力，可以大大降低使用大模型訓(xùn)練的門檻和成本，進一步促進AI民主化。
關(guān)于潞晨科技
潞晨科技是一家致力于“解放AI生產(chǎn)力”的全球性公司，核心產(chǎn)品面向大模型時代的通用深度學(xué)習(xí)系統(tǒng) Colossal-AI，可實現(xiàn)高效快速部署AI大模型訓(xùn)練和推理，降低AI大模型應(yīng)用成本。自開源以來，Colossal-AI已經(jīng)多次在GitHub熱榜位列世界第一，獲得GitHub Star約七千顆，并成功入選SC、AAAI、PPoPP等國際AI與HPC頂級會議的官方教程。相關(guān)解決方案已成功在自動駕駛、云計算、零售、醫(yī)藥、芯片等行業(yè)知名廠商落地應(yīng)用、廣受好評。
關(guān)于摩爾線程
摩爾線程智能科技（北京）有限責(zé)任公司是一家以GPU芯片設(shè)計為主的集成電路高科技公司，專注于研發(fā)設(shè)計全功能GPU芯片及相關(guān)產(chǎn)品，能夠為中國科技生態(tài)合作伙伴提供強大的計算加速能力。公司成立于2020年10月，致力于創(chuàng)新面向元計算應(yīng)用的新一代GPU，構(gòu)建融合視覺計算、3D圖形計算、科學(xué)計算及人工智能計算的綜合計算平臺，建立基于云原生GPU計算的生態(tài)系統(tǒng)，助力驅(qū)動數(shù)字經(jīng)濟發(fā)展。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
