巨量AI模型，為何微軟、浪潮、英偉達(dá)們都盯著它？

毫無(wú)疑問(wèn)，人工智能乃當(dāng)下最為吸晴的科技話題，從AlphaGo連勝多位人類圍棋頂尖高手，到波士頓機(jī)器人炫酷的訓(xùn)練視頻，再到特斯拉的人形機(jī)器人，甚至創(chuàng)業(yè)導(dǎo)師時(shí)不時(shí)拋出“未來(lái)XX年，一半工作將消失”的觀點(diǎn)也總能吸引一大堆討論。

然而現(xiàn)實(shí)世界中，我們經(jīng)常會(huì)被智能客服的各種“智障”表現(xiàn)而無(wú)奈、為語(yǔ)音助手突然“發(fā)狂”而苦笑、為醫(yī)療機(jī)器人開出的錯(cuò)誤藥方而擔(dān)憂……歸根結(jié)底，人工智能的發(fā)展離達(dá)到符合人們預(yù)期和使用依然有著較長(zhǎng)的距離。

因此，巨量AI模型正加速浮出水面，被認(rèn)為是解決各種AI挑戰(zhàn)的重要路徑。最近幾年，無(wú)論是國(guó)外谷歌、微軟，還是國(guó)內(nèi)浪潮、阿里等，都在加碼巨量AI模型的研發(fā)與投入。短短一段時(shí)間里，前有谷歌BERT、OpenAI GT-3等模型發(fā)布，后有浪潮發(fā)布全球最大中文AI巨量模型1.0、“微軟英偉達(dá)推最大單體AI語(yǔ)言模型”，將巨量AI模型的競(jìng)爭(zhēng)推向了新高潮。

為什么會(huì)出現(xiàn)巨量模型

在AI的世界里，理想很豐滿、現(xiàn)實(shí)很骨干。

如果你了解過(guò)北京西二旗以及北京周邊的大量數(shù)據(jù)標(biāo)注工廠，你就會(huì)認(rèn)為“有多少人工，就有多少智能”這句揶揄之語(yǔ)并非虛言。坊間甚至都說(shuō)，離開了那些數(shù)據(jù)標(biāo)注工廠，AI將寸步難行。

如今，AI發(fā)展的確遇到了現(xiàn)實(shí)困境：

歸根結(jié)底，這種項(xiàng)目式的AI應(yīng)用現(xiàn)狀的確是目前阻礙AI大面積落地的最大挑戰(zhàn)。有何解決之道？現(xiàn)在業(yè)界認(rèn)為，預(yù)訓(xùn)練巨量模型正在著力改變這種局面，是解決AI應(yīng)用開發(fā)定制化和碎片化的重要方法。巨量模型目的是實(shí)現(xiàn)一個(gè)巨量AI模型在多個(gè)場(chǎng)景通用、泛化和規(guī)?；瘡?fù)制，減少對(duì)數(shù)據(jù)標(biāo)注的依賴，大幅降低AI開發(fā)與應(yīng)用的使用成本，真正有希望讓AI打開工業(yè)化規(guī)模應(yīng)用的局面。

這也推動(dòng)了人工智能從“大煉模型”逐步邁向了“煉大模型”的階段，利用先進(jìn)的算法，整合大規(guī)模的數(shù)據(jù)，匯聚大量算力，訓(xùn)練出巨量人工智能模型。針對(duì)源1.0等目前市場(chǎng)上發(fā)布的巨量模型，浪潮信息副總裁劉軍有個(gè)形象的比喻：能進(jìn)化、更智能的大腦，類似元宇宙中的生命，其復(fù)雜綜合系統(tǒng)的能力決定了未來(lái)在數(shù)字世界的智能水平程度。

斯坦福大學(xué)李飛飛教授等人工智能領(lǐng)域知名學(xué)者近期也在論文中表示，巨量模型的意義在于突現(xiàn)和均質(zhì)。突現(xiàn)意味著通過(guò)巨大模型的隱含的知識(shí)和推納可帶來(lái)讓人振奮的科學(xué)創(chuàng)新靈感出現(xiàn)；均質(zhì)表示巨量模型可以為諸多應(yīng)用任務(wù)泛化支持提供統(tǒng)一強(qiáng)大的算法支撐。

可以說(shuō)，人工智能如何發(fā)展出像人類一樣的符合邏輯、意識(shí)和推理的認(rèn)知能力，除了加速深度學(xué)習(xí)技術(shù)、開發(fā)全新算法范式等研究方向外，大規(guī)模數(shù)據(jù)訓(xùn)練超大參數(shù)量的巨量模型一定是未來(lái)重要發(fā)展方向。

源1.0是如何煉成的

提到巨量模型，就不得不提OpenAI。

去年，OpenAI組織發(fā)布了GPT-3模型，該模型擁有1750億參數(shù)量、500G高質(zhì)量預(yù)訓(xùn)練數(shù)據(jù)集，相比于上一代GPT-2模型，各方面數(shù)據(jù)提升了百倍有余，一下將模型體量提升到一個(gè)新高度。隨著OpenAI GPT-3的發(fā)布，業(yè)界也見識(shí)了巨量模型的威力。根據(jù)OpenAI年初公布的數(shù)據(jù)顯示，GPT-3推出9個(gè)月以來(lái)，已有 300 多種不同的應(yīng)用程序在使用 GPT-3，且全球數(shù)以萬(wàn)計(jì)的開發(fā)人員正在基于該平臺(tái)開發(fā)，每天可產(chǎn)生 45 億個(gè)字。

自此，巨量模型開啟了“刷參數(shù)”的模式：阿里達(dá)摩院M6模型1萬(wàn)億參數(shù)量、Google Switch Transformer 1.6萬(wàn)億參數(shù)量、微軟英偉達(dá)Megatron-Turing模型5300億參數(shù)量、浪潮源1.0模型2457億參數(shù)量……

在動(dòng)輒千億、萬(wàn)億參數(shù)量的巨量模型面前，我們還需要了解巨量模型的兩種實(shí)現(xiàn)模式：一種則是“混合模型”，如Google Switch Transformer、阿里達(dá)摩院M6等；另一種則是“單體模型”，如浪潮源1.0、微軟聯(lián)合英偉達(dá)發(fā)布的Megatron-Turing等。所謂“混合模型”即是由多個(gè)相對(duì)較小的模型組成，然后通過(guò)開關(guān)的方式組合起來(lái)；而“單體模型”則對(duì)算力、算法優(yōu)化、數(shù)據(jù)分布、模型參數(shù)與結(jié)果優(yōu)化等方面要求更高，其模型精度也更高。

“巨量模型的是一門技術(shù)門檻特別高的研究工作，它開展工作的前提是大規(guī)模集群。除了將集群用起來(lái)，還需要發(fā)揮好的性能，需要在模型算法、分布式計(jì)算等各個(gè)層面協(xié)同設(shè)計(jì)、優(yōu)化，浪潮在這些方面都有著很深的積累?！崩顺比斯ぶ悄苎芯吭菏紫芯繂T吳韶華博士如是說(shuō)。

浪潮人工智能研究院于9月底發(fā)布源1.0就是屬于典型的“單體模型”。作為全球最大中文語(yǔ)言（NLP）預(yù)訓(xùn)練模型，源1.0模型參數(shù)量高達(dá)2457億，訓(xùn)練采用的高質(zhì)量中文數(shù)據(jù)集高達(dá)5000GB，相比GPT-3模型1750億參數(shù)量和570GB訓(xùn)練數(shù)據(jù)集，源1.0參數(shù)規(guī)模領(lǐng)先40%，訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍，在預(yù)訓(xùn)練數(shù)據(jù)量方面甚至比微軟英偉達(dá)Megatron-Turing高6倍。

源1.0所聚焦的自動(dòng)然語(yǔ)言處理（NLP）模型堪稱人工智能皇冠上的明珠，相比于機(jī)器視覺(jué)、語(yǔ)音識(shí)別等感知智能，自然語(yǔ)言處理模型屬于更具難度的認(rèn)知智能，聚焦在理解、思考問(wèn)題，并給出合適答案。在自然語(yǔ)言處理領(lǐng)域，中文的理解又更具難度，相比于英文有空格作為分隔符，中文分詞缺乏統(tǒng)一標(biāo)準(zhǔn)，同樣一個(gè)詞匯在不同語(yǔ)境、不同句子中的含義可能會(huì)相差甚遠(yuǎn)，加上各種網(wǎng)絡(luò)新詞匯參差不齊、中英文混合詞匯等情況，要打造出一款出色的中文語(yǔ)言模型需要付出更多努力。

以源1.0為例，浪潮人工智能研究院在預(yù)訓(xùn)練數(shù)據(jù)集上就投入了大量的精力，在海量中文互聯(lián)網(wǎng)等各方面尋找到公開數(shù)據(jù)，匯聚成龐大的數(shù)據(jù)集之后，進(jìn)行清洗、整理，最終形成5000G規(guī)模的高質(zhì)量中文訓(xùn)練數(shù)據(jù)集。

模型規(guī)模是越來(lái)越大，但實(shí)際應(yīng)用效果不行也是白搭。來(lái)看看源1.0的實(shí)際表現(xiàn)，在權(quán)威中文語(yǔ)言理解測(cè)評(píng)基準(zhǔn)CLUE中，源1.0占據(jù)零樣本學(xué)習(xí)（zero-shot）和小樣本學(xué)習(xí)（few-shot）2項(xiàng)榜單榜首，在10項(xiàng)子任務(wù)中獲得冠軍，在成語(yǔ)閱讀理解填空項(xiàng)目中，源1.0的表現(xiàn)已超越人類的智能。

如何理解源1.0所取得的測(cè)試成績(jī)？零樣本學(xué)習(xí)（zero-shot），考驗(yàn)的是模型直接應(yīng)用到特定場(chǎng)景中的能力；小樣本學(xué)習(xí)（few-shot）則是投入少量數(shù)據(jù)樣本，模型的精度即可大幅提升起來(lái)。零樣本學(xué)習(xí)和小樣本學(xué)習(xí)能力越強(qiáng)，意味著該模型就越有可能在多個(gè)場(chǎng)景中實(shí)現(xiàn)通用、泛化和規(guī)?；瘡?fù)制，對(duì)于降低AI使用門檻是大有裨益，這也是目前巨量模型最為聚焦的競(jìng)爭(zhēng)點(diǎn)。

再來(lái)看看源1.0挑戰(zhàn)“圖靈測(cè)試”的成績(jī)。圖靈測(cè)試是判斷機(jī)器是否具有智能的最經(jīng)典的方法。在對(duì)源1.0進(jìn)行的“圖靈測(cè)試”中，將源1.0模型生成的對(duì)話、小說(shuō)續(xù)寫、新聞、詩(shī)歌、對(duì)聯(lián)與由人類創(chuàng)作的同類作品進(jìn)行混合并由人群進(jìn)行分辨，測(cè)試結(jié)果表明，人群能夠準(zhǔn)確分辨人與“源1.0”作品差別的成功率已低于50%。

模型開放AI走向普及是必然路徑

隨著巨量模型近年來(lái)所取得的成功，以及在多任務(wù)泛化及小樣本學(xué)習(xí)上的突出表現(xiàn)，讓人們看到了探索通用人工智能的希望。眾所周知，要想真正進(jìn)入到一個(gè)智能世界，通用人工智能技術(shù)的突破性進(jìn)步與普及速度是關(guān)鍵，巨量模型的快速發(fā)展必然對(duì)于數(shù)字化、智能化有著巨大推動(dòng)作用。

但AI真正走向普及，巨量模型開放是一條必然之路。這點(diǎn)從OpenAI GPT-3發(fā)布一年以來(lái)所帶來(lái)的廣泛影響中可見一斑。

事實(shí)上，巨量模型從自身定位來(lái)看，其本身扮演著降低AI門檻、提升創(chuàng)新速度的角色；而且通過(guò)開放的方式，在更加廣泛的應(yīng)用場(chǎng)景中得到使用，巨量模型可以不斷優(yōu)化與提升，形成閉環(huán)；更加關(guān)鍵的是，未來(lái)的數(shù)字世界廣闊應(yīng)用空間，決定需要更多、更出色的巨量模型來(lái)加速構(gòu)建智能世界。

以浪潮為例，浪潮源1.0致力于打造最“博學(xué)”的中文AI模型，計(jì)劃面向科研機(jī)構(gòu)和行業(yè)客戶開放能力接口和開發(fā)接口，降低AI開發(fā)者和行業(yè)用戶的使用門檻，以更通用的人工智能大模型賦能科研創(chuàng)新、公共服務(wù)智慧化升級(jí)和產(chǎn)業(yè)AI化應(yīng)用，讓智能更快普及到社會(huì)民生經(jīng)濟(jì)與科技創(chuàng)新等各個(gè)領(lǐng)域。

未來(lái)已來(lái)，未來(lái)可期！以源1.0為代表的巨量模型正在開啟人工智能發(fā)展的下一個(gè)階段，巨量模型猶如諸多智慧應(yīng)用的源頭，為智慧應(yīng)用提供源源不斷的智慧源泉。而浪潮源1.0的發(fā)布，也標(biāo)志著中國(guó)廠商在通用人工智能的探索上走在了業(yè)界的前列，有望為千行百業(yè)數(shù)字化轉(zhuǎn)型和智能化升級(jí)注入源源不斷的中國(guó)智慧。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。