智源發(fā)布全球最大預(yù)訓(xùn)練模型“悟道2.0” ，智譜AI等多家機構(gòu)聯(lián)合研發(fā)

6月3日消息，2021北京智源大會舉辦首日，智源研究院學(xué)術(shù)副院長、清華大學(xué)計算機科學(xué)與技術(shù)系長聘教授、計算機系副主任唐杰發(fā)布全球最大預(yù)訓(xùn)練模型“悟道2.0”，該模型規(guī)模參數(shù)達1.75萬億。“悟道2.0”由智源牽頭研發(fā)，北京智譜華章科技有限公司（以下簡稱智譜AI）作為骨干參與，并主要開發(fā)了“悟道2.0”的平臺應(yīng)用生態(tài)。其中，智源、智譜AI和小冰公司聯(lián)合開發(fā)的虛擬學(xué)生華智冰引起了廣泛關(guān)注。

“悟道2.0”還取得了多項世界級的創(chuàng)新突破，在預(yù)訓(xùn)練模型架構(gòu)、微調(diào)算法、高效預(yù)訓(xùn)練框架方面實現(xiàn)了原始理論創(chuàng)新，在世界公認的人工智能能力排名榜單上，取得9項能力的領(lǐng)先地位。 “悟道”預(yù)訓(xùn)練模型是由唐杰領(lǐng)銜，來自智譜AI、北京智源人工智能研究院、小冰公司等單位的100余位AI科學(xué)家團隊聯(lián)合攻關(guān)完成。今年3月22日，智源曾發(fā)布了“悟道1.0”，2個多月后，悟道進化到2.0。

“悟道2.0”特征：最大、最準、通用、國產(chǎn)

唐杰介紹，“悟道”的定位，從一開始就不止要做“中國第一”，而是瞄向世界頂尖水平，讓機器像人一樣思考，邁向通用人工智能。

“悟道2.0”參數(shù)達到1.75萬億，打破了此前谷歌 Switch Transformer 預(yù)訓(xùn)練模型創(chuàng)造的 1.6 萬億參數(shù)記錄，也超過OpenAI開發(fā)的第三代生成式預(yù)訓(xùn)練Transformer（GPT-3）10倍，是全球最大預(yù)訓(xùn)練模型。而通常AI科學(xué)界認為模型參數(shù)越大，意味著通用人工智能潛能越強。尤其值得一提是，“悟道2.0”這個世界最大萬億模型，完全基于國產(chǎn)超算 GPU 平臺打造。

為什么新一代“全球最大”預(yù)訓(xùn)練模型會出現(xiàn)在智源與智譜AI團隊？唐杰表示，團隊開創(chuàng)的FastMoE技術(shù)，打破了國外MoE技術(shù)存在的限制瓶頸，是實現(xiàn)“萬億模型”基石的關(guān)鍵。

FastMoE作為首個支持PyTorch框架的MoE系統(tǒng)，具有易用性強、靈活性好、訓(xùn)練速度快的優(yōu)勢，可在不同規(guī)模的計算機或集群上支持研究者探索不同的MoE模型在不同領(lǐng)域的應(yīng)用。相比直接使用PyTorch實現(xiàn)的版本，提速47倍。

FastMoE可以支持NoisyGate、GShard、Swith Transformer等復(fù)雜均衡策略，支持不同專家不同模型，目前已基于阿里 PAI 平臺，亦在國產(chǎn)神威眾核超算平臺成功部署。

精準方面，悟道 2.0也取得了亮眼的成績，在 ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO 等項目都取得了突破，獲得了9項任務(wù)上的 SOTA。目前悟道2.0在問答、繪畫、作詩、視頻等任務(wù)中都已逼近圖靈測試。

大規(guī)模預(yù)訓(xùn)練模型的參數(shù)規(guī)模通常遠超傳統(tǒng)的專用人工智能模型，在算力資源、訓(xùn)練時間等方面消耗巨大。為了提升大規(guī)模預(yù)訓(xùn)練模型的產(chǎn)業(yè)普適性和易用性，悟道團隊搭建高效預(yù)訓(xùn)練框架，實現(xiàn)了全鏈路的原創(chuàng)突破或迭代優(yōu)化，預(yù)訓(xùn)練效率大幅提升。

唐杰介紹，悟道 2.0預(yù)訓(xùn)練框架具有“五個高效”特點：高效編碼、高效模型、高效訓(xùn)練、高效微調(diào)、高效推理，它真正面向產(chǎn)業(yè)界的應(yīng)用。悟道 2.0預(yù)訓(xùn)練框架還整合了全球最大的中文語料庫WuDaoCorpora，包括最大中文文本數(shù)據(jù)集、多模態(tài)數(shù)據(jù)集與中文對話數(shù)據(jù)集。

唐杰稱悟道完全開源，任何企業(yè)、開發(fā)者拿到悟道 2.0預(yù)訓(xùn)練框架以后，可以非?？斓剡M行部署，然后應(yīng)用在實際業(yè)務(wù)中。目前，悟道 2.0已經(jīng)與美團、小米、快手、360、搜狗、寒武紀、第四范式、推想科技、好未來、小冰科技等達成合作共建模型生態(tài)。

聯(lián)合智譜AI和小冰團隊共同打造首位虛擬學(xué)生“華智冰”

虛擬學(xué)生“華智冰”

現(xiàn)場，唐杰還介紹了一位自己的新學(xué)生-“華智冰”。

“華智冰”是以悟道為內(nèi)核，以智譜AI的知識數(shù)據(jù)雙輪驅(qū)動框架和小冰公司全球領(lǐng)先的人工智能完備框架為基礎(chǔ)開發(fā)的虛擬數(shù)字人，是中國首個原創(chuàng)的全科虛擬學(xué)生。華智冰將師從唐杰，開啟在清華大學(xué)計算機系知識工程實驗室的學(xué)習(xí)和研究生涯，接受智源、智譜AI和小冰公司的聯(lián)合培養(yǎng)。

華智冰由三方共同研發(fā)打造，同時，智譜AI還為虛擬學(xué)生提供了融合知識和數(shù)據(jù)的雙輪驅(qū)動人工智能系統(tǒng)，讓她具有一定的認知和推理能力。小冰則提供了全球領(lǐng)先的人工智能完備框架，同時負責(zé)聲音、形象的開發(fā)應(yīng)用。智譜.AI依托清華大學(xué)團隊十余年在知識智能方面的積累和人才優(yōu)勢，構(gòu)造了高質(zhì)量大規(guī)模知識圖譜，致力于打造可解釋、魯棒、安全可靠、具有推理能力的新一代認知引擎，談到對新學(xué)生華智冰的培養(yǎng)目標，唐杰稱，從感知智能向認知智能時代邁進，我們希望這個數(shù)字人在多項認知智能上超過人，她不僅僅識別圖像，還應(yīng)該有創(chuàng)造能力。比如可以創(chuàng)造詩、作畫，甚至回答一些數(shù)學(xué)問題。

先來看看華智冰同學(xué)的繪畫和詩作能力。

因為華智冰是到計算機系學(xué)習(xí)，唐杰也表示，那她應(yīng)該還要會編程，下一步給她一個任務(wù)，能自動設(shè)計出網(wǎng)頁的板塊或者項目架構(gòu)設(shè)計，還能把里面的代碼填滿，讓代碼運行正常等待，這些是我們未來對華智冰的一些期望。當然這個過程中不是一天就來了，是慢慢成長的過程，

一位多才多藝的清華同學(xué)，請期待！

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。