6月3日消息，2021北京智源大會舉辦首日，智源研究院學術副院長、清華大學計算機科學與技術系長聘教授、計算機系副主任唐杰發(fā)布全球最大預訓練模型“悟道2.0”，該模型規(guī)模參數(shù)達1.75萬億。“悟道2.0”由智源牽頭研發(fā)，北京智譜華章科技有限公司（以下簡稱智譜AI）作為骨干參與，并主要開發(fā)了“悟道2.0”的平臺應用生態(tài)。其中，智源、智譜AI和小冰公司聯(lián)合開發(fā)的虛擬學生華智冰引起了廣泛關注。
“悟道2.0”還取得了多項世界級的創(chuàng)新突破，在預訓練模型架構、微調算法、高效預訓練框架方面實現(xiàn)了原始理論創(chuàng)新，在世界公認的人工智能能力排名榜單上，取得9項能力的領先地位。 “悟道”預訓練模型是由唐杰領銜，來自智譜AI、北京智源人工智能研究院、小冰公司等單位的100余位AI科學家團隊聯(lián)合攻關完成。今年3月22日，智源曾發(fā)布了“悟道1.0”，2個多月后，悟道進化到2.0。
“悟道2.0”特征：最大、最準、通用、國產
唐杰介紹，“悟道”的定位，從一開始就不止要做“中國第一”，而是瞄向世界頂尖水平，讓機器像人一樣思考，邁向通用人工智能。
“悟道2.0”參數(shù)達到1.75萬億，打破了此前谷歌 Switch Transformer 預訓練模型創(chuàng)造的 1.6 萬億參數(shù)記錄，也超過OpenAI開發(fā)的第三代生成式預訓練Transformer（GPT-3）10倍，是全球最大預訓練模型。而通常AI科學界認為模型參數(shù)越大，意味著通用人工智能潛能越強。尤其值得一提是，“悟道2.0”這個世界最大萬億模型，完全基于國產超算 GPU 平臺打造。
為什么新一代“全球最大”預訓練模型會出現(xiàn)在智源與智譜AI團隊？唐杰表示，團隊開創(chuàng)的FastMoE技術，打破了國外MoE技術存在的限制瓶頸，是實現(xiàn)“萬億模型”基石的關鍵。
FastMoE作為首個支持PyTorch框架的MoE系統(tǒng)，具有易用性強、靈活性好、訓練速度快的優(yōu)勢，可在不同規(guī)模的計算機或集群上支持研究者探索不同的MoE模型在不同領域的應用。相比直接使用PyTorch實現(xiàn)的版本，提速47倍。
FastMoE可以支持NoisyGate、GShard、Swith Transformer等復雜均衡策略，支持不同專家不同模型，目前已基于阿里 PAI 平臺，亦在國產神威眾核超算平臺成功部署。
精準方面，悟道 2.0也取得了亮眼的成績，在 ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO 等項目都取得了突破，獲得了9項任務上的 SOTA。目前悟道2.0在問答、繪畫、作詩、視頻等任務中都已逼近圖靈測試。
大規(guī)模預訓練模型的參數(shù)規(guī)模通常遠超傳統(tǒng)的專用人工智能模型，在算力資源、訓練時間等方面消耗巨大。為了提升大規(guī)模預訓練模型的產業(yè)普適性和易用性，悟道團隊搭建高效預訓練框架，實現(xiàn)了全鏈路的原創(chuàng)突破或迭代優(yōu)化，預訓練效率大幅提升。
唐杰介紹，悟道 2.0預訓練框架具有“五個高效”特點：高效編碼、高效模型、高效訓練、高效微調、高效推理，它真正面向產業(yè)界的應用。悟道 2.0預訓練框架還整合了全球最大的中文語料庫WuDaoCorpora，包括最大中文文本數(shù)據(jù)集、多模態(tài)數(shù)據(jù)集與中文對話數(shù)據(jù)集。
唐杰稱悟道完全開源，任何企業(yè)、開發(fā)者拿到悟道 2.0預訓練框架以后，可以非?？斓剡M行部署，然后應用在實際業(yè)務中。目前，悟道 2.0已經與美團、小米、快手、360、搜狗、寒武紀、第四范式、推想科技、好未來、小冰科技等達成合作共建模型生態(tài)。
聯(lián)合智譜AI和小冰團隊共同打造首位虛擬學生“華智冰”
虛擬學生“華智冰”
現(xiàn)場，唐杰還介紹了一位自己的新學生-“華智冰”。
“華智冰”是以悟道為內核，以智譜AI的知識數(shù)據(jù)雙輪驅動框架和小冰公司全球領先的人工智能完備框架為基礎開發(fā)的虛擬數(shù)字人，是中國首個原創(chuàng)的全科虛擬學生。華智冰將師從唐杰，開啟在清華大學計算機系知識工程實驗室的學習和研究生涯，接受智源、智譜AI和小冰公司的聯(lián)合培養(yǎng)。
華智冰由三方共同研發(fā)打造，同時，智譜AI還為虛擬學生提供了融合知識和數(shù)據(jù)的雙輪驅動人工智能系統(tǒng)，讓她具有一定的認知和推理能力。小冰則提供了全球領先的人工智能完備框架，同時負責聲音、形象的開發(fā)應用。智譜.AI依托清華大學團隊十余年在知識智能方面的積累和人才優(yōu)勢，構造了高質量大規(guī)模知識圖譜，致力于打造可解釋、魯棒、安全可靠、具有推理能力的新一代認知引擎，談到對新學生華智冰的培養(yǎng)目標，唐杰稱，從感知智能向認知智能時代邁進，我們希望這個數(shù)字人在多項認知智能上超過人，她不僅僅識別圖像，還應該有創(chuàng)造能力。比如可以創(chuàng)造詩、作畫，甚至回答一些數(shù)學問題。
先來看看華智冰同學的繪畫和詩作能力。
因為華智冰是到計算機系學習，唐杰也表示，那她應該還要會編程，下一步給她一個任務，能自動設計出網(wǎng)頁的板塊或者項目架構設計，還能把里面的代碼填滿，讓代碼運行正常等待，這些是我們未來對華智冰的一些期望。當然這個過程中不是一天就來了，是慢慢成長的過程，
一位多才多藝的清華同學，請期待！
- 蜜度索驥：以跨模態(tài)檢索技術助力“企宣”向上生長
- 特斯拉CEO馬斯克身家暴漲，穩(wěn)居全球首富寶座
- 阿里巴巴擬發(fā)行 26.5 億美元和 170 億人民幣債券
- 騰訊音樂Q3持續(xù)穩(wěn)健增長：總收入70.2億元，付費用戶數(shù)1.19億
- 蘋果Q4營收949億美元同比增6%，在華營收微降
- 三星電子Q3營收79萬億韓元，營業(yè)利潤受一次性成本影響下滑
- 賽力斯已向華為支付23億，購買引望10%股權
- 格力電器三季度營收同比降超15%，凈利潤逆勢增長
- 合合信息2024年前三季度業(yè)績穩(wěn)?。籂I收增長超21%，凈利潤增長超11%
- 臺積電四季度營收有望再攀高峰，預計超260億美元刷新紀錄
- 韓國三星電子決定退出LED業(yè)務，市值蒸發(fā)超4600億元
免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
