近日，由中國(guó)信息通信研究院、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心、人工智能關(guān)鍵技術(shù)和應(yīng)用評(píng)測(cè)工信部重點(diǎn)實(shí)驗(yàn)室共同發(fā)起的2022可信AI峰會(huì)圓滿(mǎn)落下帷幕，峰會(huì)發(fā)布了大規(guī)模預(yù)訓(xùn)練模型技術(shù)與應(yīng)用評(píng)測(cè)標(biāo)準(zhǔn)體系，并公布了2022大模型優(yōu)秀應(yīng)用案例名單。
作為OPPO AI技術(shù)落地的關(guān)鍵承載，OPPO小布助手與其他大模型頭部企業(yè)、高校院所、互聯(lián)網(wǎng)企業(yè)、電信運(yùn)營(yíng)商及金融機(jī)構(gòu)等組織合作，共同參與大模型開(kāi)發(fā)、模型能力等標(biāo)準(zhǔn)的制定，加速技術(shù)應(yīng)用落地。在大規(guī)模技術(shù)的應(yīng)用實(shí)踐中，小布助手團(tuán)隊(duì)?wèi){借NLP大模型的應(yīng)用實(shí)踐入選“2022大規(guī)模預(yù)訓(xùn)練模型優(yōu)秀應(yīng)用案例”，技術(shù)創(chuàng)新與應(yīng)用實(shí)踐再獲行業(yè)認(rèn)可。
大規(guī)模預(yù)訓(xùn)練模型是當(dāng)前人工智能發(fā)展的重點(diǎn)，通過(guò)提升技術(shù)能力加速AI工程化落地進(jìn)程。然而，如何在利用大模型加速技術(shù)創(chuàng)新與應(yīng)用實(shí)踐之余，充分提升計(jì)算資源的利用效率，仍是大模型技術(shù)在工業(yè)化落地中面臨的關(guān)鍵挑戰(zhàn)。
具體地說(shuō)，大模型的使用能夠有效降低語(yǔ)義理解模型在新業(yè)務(wù)冷啟動(dòng)場(chǎng)景中的數(shù)據(jù)需求量，適用更多的智能交互場(chǎng)景，并大大提升語(yǔ)義理解能力。但在工程部署上，由于語(yǔ)音助手的多個(gè)獨(dú)立NLU服務(wù)分開(kāi)部署分別推理，面臨著巨大的GPU計(jì)算壓力的挑戰(zhàn)。
自2020年起，小布助手團(tuán)隊(duì)便從“可大規(guī)模工業(yè)化”的角度出發(fā)，著力探索預(yù)訓(xùn)練大模型的技術(shù)創(chuàng)新和應(yīng)用落地。小布助手團(tuán)隊(duì)通過(guò)引入統(tǒng)一表征方案，在在線(xiàn)推理時(shí)拆解為2個(gè)網(wǎng)絡(luò)，即統(tǒng)一表征的骨干網(wǎng)絡(luò)(12層transformer)和任務(wù)相關(guān)的下游微調(diào)網(wǎng)絡(luò)(層數(shù)往往小于3的transformer)，從而解決了多NLU的GPU計(jì)算資源問(wèn)題。相比傳統(tǒng)深度學(xué)習(xí)模型效果提升2%以上，相比單獨(dú)Fine-Tuning在全局計(jì)算量上減少了2/3，為NLP大模型技術(shù)在行業(yè)其他領(lǐng)域的拓展及未來(lái)工業(yè)化應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。
基于對(duì)NLP技術(shù)的深刻洞察與持續(xù)投入，小布助手在NLP技術(shù)領(lǐng)域達(dá)到了行業(yè)領(lǐng)先水平，并在多個(gè)權(quán)威榜單中獲得了亮眼的成績(jī)。今年7月，小布助手十億參數(shù)模型“OBERT” 躍居中文語(yǔ)言理解測(cè)評(píng)基準(zhǔn)CLUE1.1總榜第五名、大規(guī)模知識(shí)圖譜問(wèn)答KgCLUE1.0排行榜第一名、命名實(shí)體任務(wù)CLUE-NER排行榜第一名，在十億級(jí)模型上進(jìn)入第一梯隊(duì)。
未來(lái)，小布助手團(tuán)隊(duì)將結(jié)合智能助手場(chǎng)景特點(diǎn)持續(xù)優(yōu)化預(yù)訓(xùn)練技術(shù)，基于小布助手已有的海量數(shù)據(jù)，以開(kāi)放的成長(zhǎng)型心態(tài)深耕NLP技術(shù)領(lǐng)域，包括利用檢索增強(qiáng)范式優(yōu)化短文本表征、挖掘和利用反饋信息構(gòu)建無(wú)監(jiān)督預(yù)訓(xùn)練任務(wù)以及探索模型輕量化技術(shù)加速大模型的落地等，重點(diǎn)聚焦模型優(yōu)化與工程性能，深化預(yù)訓(xùn)練模型計(jì)算資源與算法效果平衡的落地實(shí)踐，致力于在萬(wàn)物互融時(shí)代為用戶(hù)提供更友好自然的人機(jī)交互體驗(yàn)。
在專(zhuān)注技術(shù)創(chuàng)新的同時(shí)，小布助手還將積極參與大模型技術(shù)產(chǎn)業(yè)生態(tài)合作交流，緊跟學(xué)術(shù)前沿成果，把握業(yè)界向預(yù)訓(xùn)練模型遷移的工程化趨勢(shì)，擁抱端云協(xié)同發(fā)展的大模型生態(tài)，合力與更多業(yè)界伙伴一同突破大模型實(shí)踐的應(yīng)用障礙，助力大模型技術(shù)在行業(yè)應(yīng)用中實(shí)現(xiàn)落地賦能與商業(yè)變現(xiàn)的雙贏(yíng)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
