原標(biāo)題:巨量AI模型,為何微軟、浪潮、英偉達(dá)們都盯著它?
毫無疑問,人工智能乃當(dāng)下最為吸晴的科技話題,從AlphaGo連勝多位人類圍棋頂尖高手,到波士頓機(jī)器人炫酷的訓(xùn)練視頻,再到特斯拉的人形機(jī)器人,甚至創(chuàng)業(yè)導(dǎo)師時不時拋出“未來XX年,一半工作將消失”的觀點(diǎn)也總能吸引一大堆討論。
然而現(xiàn)實(shí)世界中,我們經(jīng)常會被智能客服的各種“智障”表現(xiàn)而無奈、為語音助手突然“發(fā)狂”而苦笑、為醫(yī)療機(jī)器人開出的錯誤藥方而擔(dān)憂……歸根結(jié)底,人工智能的發(fā)展離達(dá)到符合人們預(yù)期和使用依然有著較長的距離。
因此,巨量AI模型正加速浮出水面,被認(rèn)為是解決各種AI挑戰(zhàn)的重要路徑。最近幾年,無論是國外谷歌、微軟,還是國內(nèi)浪潮、阿里等,都在加碼巨量AI模型的研發(fā)與投入。短短一段時間里,前有谷歌BERT、OpenAI GT-3等模型發(fā)布,后有浪潮發(fā)布全球最大中文AI巨量模型1.0、“微軟英偉達(dá)推最大單體AI語言模型”,將巨量AI模型的競爭推向了新高潮。
為什么會出現(xiàn)巨量模型
在AI的世界里,理想很豐滿、現(xiàn)實(shí)很骨干。
如果你了解過北京西二旗以及北京周邊的大量數(shù)據(jù)標(biāo)注工廠,你就會認(rèn)為“有多少人工,就有多少智能”這句揶揄之語并非虛言。坊間甚至都說,離開了那些數(shù)據(jù)標(biāo)注工廠,AI將寸步難行。
如今,AI發(fā)展的確遇到了現(xiàn)實(shí)困境:
- 往往是模型具有專用特定領(lǐng)域,一個場景對應(yīng)一個模型,需要耗費(fèi)大量的人力與資源在構(gòu)建和訓(xùn)練模型上;
- 其次,數(shù)據(jù)質(zhì)量參差不齊,數(shù)據(jù)樣本少;
- 最后,模型精度差,訓(xùn)練效果差,訓(xùn)練周期長,導(dǎo)致模型在真實(shí)場景中應(yīng)用效果差強(qiáng)人意。
歸根結(jié)底,這種項(xiàng)目式的AI應(yīng)用現(xiàn)狀的確是目前阻礙AI大面積落地的最大挑戰(zhàn)。有何解決之道?現(xiàn)在業(yè)界認(rèn)為,預(yù)訓(xùn)練巨量模型正在著力改變這種局面,是解決AI應(yīng)用開發(fā)定制化和碎片化的重要方法。巨量模型目的是實(shí)現(xiàn)一個巨量AI模型在多個場景通用、泛化和規(guī)模化復(fù)制,減少對數(shù)據(jù)標(biāo)注的依賴,大幅降低AI開發(fā)與應(yīng)用的使用成本,真正有希望讓AI打開工業(yè)化規(guī)模應(yīng)用的局面。
這也推動了人工智能從“大煉模型”逐步邁向了“煉大模型”的階段,利用先進(jìn)的算法,整合大規(guī)模的數(shù)據(jù),匯聚大量算力,訓(xùn)練出巨量人工智能模型。針對源1.0等目前市場上發(fā)布的巨量模型,浪潮信息副總裁劉軍有個形象的比喻:能進(jìn)化、更智能的大腦,類似元宇宙中的生命,其復(fù)雜綜合系統(tǒng)的能力決定了未來在數(shù)字世界的智能水平程度。
斯坦福大學(xué)李飛飛教授等人工智能領(lǐng)域知名學(xué)者近期也在論文中表示,巨量模型的意義在于突現(xiàn)和均質(zhì)。突現(xiàn)意味著通過巨大模型的隱含的知識和推納可帶來讓人振奮的科學(xué)創(chuàng)新靈感出現(xiàn);均質(zhì)表示巨量模型可以為諸多應(yīng)用任務(wù)泛化支持提供統(tǒng)一強(qiáng)大的算法支撐。
可以說,人工智能如何發(fā)展出像人類一樣的符合邏輯、意識和推理的認(rèn)知能力,除了加速深度學(xué)習(xí)技術(shù)、開發(fā)全新算法范式等研究方向外,大規(guī)模數(shù)據(jù)訓(xùn)練超大參數(shù)量的巨量模型一定是未來重要發(fā)展方向。
源1.0是如何煉成的
提到巨量模型,就不得不提OpenAI。
去年,OpenAI組織發(fā)布了GPT-3模型,該模型擁有1750億參數(shù)量、500G高質(zhì)量預(yù)訓(xùn)練數(shù)據(jù)集,相比于上一代GPT-2模型,各方面數(shù)據(jù)提升了百倍有余,一下將模型體量提升到一個新高度。隨著OpenAI GPT-3的發(fā)布,業(yè)界也見識了巨量模型的威力。根據(jù)OpenAI年初公布的數(shù)據(jù)顯示,GPT-3推出9個月以來,已有 300 多種不同的應(yīng)用程序在使用 GPT-3,且全球數(shù)以萬計(jì)的開發(fā)人員正在基于該平臺開發(fā),每天可產(chǎn)生 45 億個字。
自此,巨量模型開啟了“刷參數(shù)”的模式:阿里達(dá)摩院M6模型1萬億參數(shù)量、Google Switch Transformer 1.6萬億參數(shù)量、微軟英偉達(dá)Megatron-Turing模型5300億參數(shù)量、浪潮源1.0模型2457億參數(shù)量……
在動輒千億、萬億參數(shù)量的巨量模型面前,我們還需要了解巨量模型的兩種實(shí)現(xiàn)模式:一種則是“混合模型”,如Google Switch Transformer、阿里達(dá)摩院M6等;另一種則是“單體模型”,如浪潮源1.0、微軟聯(lián)合英偉達(dá)發(fā)布的Megatron-Turing等。所謂“混合模型”即是由多個相對較小的模型組成,然后通過開關(guān)的方式組合起來;而“單體模型”則對算力、算法優(yōu)化、數(shù)據(jù)分布、模型參數(shù)與結(jié)果優(yōu)化等方面要求更高,其模型精度也更高。
“巨量模型的是一門技術(shù)門檻特別高的研究工作,它開展工作的前提是大規(guī)模集群。除了將集群用起來,還需要發(fā)揮好的性能,需要在模型算法、分布式計(jì)算等各個層面協(xié)同設(shè)計(jì)、優(yōu)化,浪潮在這些方面都有著很深的積累?!崩顺比斯ぶ悄苎芯吭菏紫芯繂T吳韶華博士如是說。
浪潮人工智能研究院于9月底發(fā)布源1.0就是屬于典型的“單體模型”。作為全球最大中文語言(NLP)預(yù)訓(xùn)練模型,源1.0模型參數(shù)量高達(dá)2457億,訓(xùn)練采用的高質(zhì)量中文數(shù)據(jù)集高達(dá)5000GB,相比GPT-3模型1750億參數(shù)量和570GB訓(xùn)練數(shù)據(jù)集,源1.0參數(shù)規(guī)模領(lǐng)先40%,訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍,在預(yù)訓(xùn)練數(shù)據(jù)量方面甚至比微軟英偉達(dá)Megatron-Turing高6倍。
源1.0所聚焦的自動然語言處理(NLP)模型堪稱人工智能皇冠上的明珠,相比于機(jī)器視覺、語音識別等感知智能,自然語言處理模型屬于更具難度的認(rèn)知智能,聚焦在理解、思考問題,并給出合適答案。在自然語言處理領(lǐng)域,中文的理解又更具難度,相比于英文有空格作為分隔符,中文分詞缺乏統(tǒng)一標(biāo)準(zhǔn),同樣一個詞匯在不同語境、不同句子中的含義可能會相差甚遠(yuǎn),加上各種網(wǎng)絡(luò)新詞匯參差不齊、中英文混合詞匯等情況,要打造出一款出色的中文語言模型需要付出更多努力。
以源1.0為例,浪潮人工智能研究院在預(yù)訓(xùn)練數(shù)據(jù)集上就投入了大量的精力,在海量中文互聯(lián)網(wǎng)等各方面尋找到公開數(shù)據(jù),匯聚成龐大的數(shù)據(jù)集之后,進(jìn)行清洗、整理,最終形成5000G規(guī)模的高質(zhì)量中文訓(xùn)練數(shù)據(jù)集。
模型規(guī)模是越來越大,但實(shí)際應(yīng)用效果不行也是白搭。來看看源1.0的實(shí)際表現(xiàn),在權(quán)威中文語言理解測評基準(zhǔn)CLUE中,源1.0占據(jù)零樣本學(xué)習(xí)(zero-shot)和小樣本學(xué)習(xí)(few-shot)2項(xiàng)榜單榜首,在10項(xiàng)子任務(wù)中獲得冠軍,在成語閱讀理解填空項(xiàng)目中,源1.0的表現(xiàn)已超越人類的智能。
如何理解源1.0所取得的測試成績?零樣本學(xué)習(xí)(zero-shot),考驗(yàn)的是模型直接應(yīng)用到特定場景中的能力;小樣本學(xué)習(xí)(few-shot)則是投入少量數(shù)據(jù)樣本,模型的精度即可大幅提升起來。零樣本學(xué)習(xí)和小樣本學(xué)習(xí)能力越強(qiáng),意味著該模型就越有可能在多個場景中實(shí)現(xiàn)通用、泛化和規(guī)模化復(fù)制,對于降低AI使用門檻是大有裨益,這也是目前巨量模型最為聚焦的競爭點(diǎn)。
再來看看源1.0挑戰(zhàn)“圖靈測試”的成績。圖靈測試是判斷機(jī)器是否具有智能的最經(jīng)典的方法。在對源1.0進(jìn)行的“圖靈測試”中,將源1.0模型生成的對話、小說續(xù)寫、新聞、詩歌、對聯(lián)與由人類創(chuàng)作的同類作品進(jìn)行混合并由人群進(jìn)行分辨,測試結(jié)果表明,人群能夠準(zhǔn)確分辨人與“源1.0”作品差別的成功率已低于50%。
模型開放AI走向普及是必然路徑
隨著巨量模型近年來所取得的成功,以及在多任務(wù)泛化及小樣本學(xué)習(xí)上的突出表現(xiàn),讓人們看到了探索通用人工智能的希望。眾所周知,要想真正進(jìn)入到一個智能世界,通用人工智能技術(shù)的突破性進(jìn)步與普及速度是關(guān)鍵,巨量模型的快速發(fā)展必然對于數(shù)字化、智能化有著巨大推動作用。
但AI真正走向普及,巨量模型開放是一條必然之路。這點(diǎn)從OpenAI GPT-3發(fā)布一年以來所帶來的廣泛影響中可見一斑。
事實(shí)上,巨量模型從自身定位來看,其本身扮演著降低AI門檻、提升創(chuàng)新速度的角色;而且通過開放的方式,在更加廣泛的應(yīng)用場景中得到使用,巨量模型可以不斷優(yōu)化與提升,形成閉環(huán);更加關(guān)鍵的是,未來的數(shù)字世界廣闊應(yīng)用空間,決定需要更多、更出色的巨量模型來加速構(gòu)建智能世界。
以浪潮為例,浪潮源1.0致力于打造最“博學(xué)”的中文AI模型,計(jì)劃面向科研機(jī)構(gòu)和行業(yè)客戶開放能力接口和開發(fā)接口,降低AI開發(fā)者和行業(yè)用戶的使用門檻,以更通用的人工智能大模型賦能科研創(chuàng)新、公共服務(wù)智慧化升級和產(chǎn)業(yè)AI化應(yīng)用,讓智能更快普及到社會民生經(jīng)濟(jì)與科技創(chuàng)新等各個領(lǐng)域。
未來已來,未來可期!以源1.0為代表的巨量模型正在開啟人工智能發(fā)展的下一個階段,巨量模型猶如諸多智慧應(yīng)用的源頭,為智慧應(yīng)用提供源源不斷的智慧源泉。而浪潮源1.0的發(fā)布,也標(biāo)志著中國廠商在通用人工智能的探索上走在了業(yè)界的前列,有望為千行百業(yè)數(shù)字化轉(zhuǎn)型和智能化升級注入源源不斷的中國智慧。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個大計(jì)劃瞄準(zhǔn)AI機(jī)器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費(fèi)引熱議
- 消息稱塔塔集團(tuán)將收購和碩印度iPhone代工廠60%股份 并接管日常運(yùn)營
- 蘋果揭秘自研芯片成功之道:領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達(dá)新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關(guān)注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關(guān)注
- 無人機(jī)“黑科技”亮相航展:全球首臺低空重力測量系統(tǒng)引關(guān)注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機(jī)器人合作
- 賽力斯觸及漲停,汽車整車股盤初強(qiáng)勢拉升
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。