近日，OPPO小布助手團隊和機器學習部聯合完成了十億參數模型“OBERT”的預訓練，業(yè)務上取得了4%以上的提升;在行業(yè)對比評測中，OBERT躍居中文語言理解測評基準CLUE1.1總榜第五名、大規(guī)模知識圖譜問答KgCLUE1.0排行榜第一名，在十億級模型上進入第一梯隊，多項子任務得分與排前3名的百億參數模型效果非常接近，而參數量僅為后者的十分之一，更有利于大規(guī)模工業(yè)化應用。
CLUE1.1總榜，共9個子任務
KgCLUE1.0，知識圖譜問答榜
技術全自研，小布推動十億級預訓練大模型落地
大規(guī)模預訓練模型的出現，為自然語言處理任務帶來了新的求解范式，也顯著地提升了各類NLP任務的基準效果。自2020年，OPPO小布助手團隊開始對預訓練模型進行探索和落地應用，從“可大規(guī)模工業(yè)化”的角度出發(fā)，先后自研了一億、三億和十億參數量的預訓練模型OBERT。
預訓練模型開發(fā)&應用方案
得益于數據獲取的低成本性和語言模型強大的遷移能力，目前NLP預訓練主流的任務是基于分布式假設的語言模型。在此，小布助手團隊選擇了在下游自然語言理解類(NLU)任務上有更好效果的MLM，并采用課程學習作為主要預訓練策略，由易到難循序漸進，提高訓練穩(wěn)定性。首先在一億級模型上驗證了以上mask策略的有效性，其Zero-shot效果顯著優(yōu)于開源base級模型，下游應用時也取得了收益，隨后將其應用到十億級模型訓練中。
ZeroCLUE榜單
值得一提的是，從開源工作實驗結果來看，語料的數量和內容多樣性越大，下游任務效果會隨之提升?；谇捌诘奶剿骱蛧L試，十億級OBERT模型清洗和收集了1.6 TB級語料，通過5種mask機制從中學習語言知識，內容包含百科、社區(qū)問答、新聞等，場景涉及意圖理解、多輪聊天、文本匹配等NLP任務。
加強應用創(chuàng)新，小布持續(xù)深耕NLP技術
CLUE(中文語言理解評測集合)榜單是中文領域最具權威的自然語言理解榜單之一，開設了包括分類、文本相似度、閱讀理解、上下文推理等共10個子任務，旨在推動NLP訓練模型技術的不斷進步和突破。
NLP(自然語言處理)技術被譽為人工智能皇冠上的明珠。作為人工智能認知能力的核心，NLP是AI領域最具挑戰(zhàn)的賽道之一，其目的是使得計算機具備人類的聽、說、讀、寫等能力，并利用知識和常識進行推理和決策。
小布助手發(fā)布于2019年，到2021年底，它已經累計搭載2.5 億設備，月活用戶數突破1.3 億，月交互次數達20 億，成為國內首個月活用戶數破億的手機語音助手，一躍成為國內新一代智能助手的代表。
在NLP技術方面，小布助手經歷了從規(guī)則引擎、簡單模型到強深度學習，再到預訓練模型幾個階段。歷經3年的發(fā)展，小布助手在NLP技術領域已達到行業(yè)領先水平，此次OBERT位列CLUE 1.1總榜前五、KgCLUE 1.0排行榜榜首，便是小布助手技術沉淀與積累的最好力證。
登榜CLUE 1.1總榜并登頂KgCLUE 1.0排行榜，主要得益于三個方面：一是利用小布助手積累的海量數據，獲得口語化的語言數據，促進算法模型對智能助手場景的語言有更好的理解;二是保持著開放的成長型心態(tài)，跟進學術界和工業(yè)界最新的進展并加以實踐;三是堅定地在最新預訓練模型方向進行投入，一點一點地去做技術積累，一次一次地探索落地應用。
未來，小布助手團隊會結合智能助手場景特點，持續(xù)優(yōu)化預訓練技術，深耕NLP，利用模型輕量化等技術加速大模型落地，并持續(xù)探索AI與主動情感的結合，讓智能更人性化，在萬物互融的時代，助力推動AI大放異彩，幫助AI潤物細無聲地融入人們未來的數智生活。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
