AI大模型的白堊紀

美好的長假即將過去，我們又該忙起來了。在AI領(lǐng)域，這兩年最忙的一項基礎(chǔ)技術(shù)應(yīng)該非大模型莫屬。

隨著最近AI繪畫、AI生成視頻等能力不斷刷新大眾對AI技術(shù)邊界的認知，站在AI創(chuàng)作家們背后的大模型的地位也跟著水漲船高。轟轟烈烈的“煉大模型”運動似乎來到了豐收時節(jié)。

但在大模型愈發(fā)火爆的同時，我們不難看到一個問題：預(yù)訓(xùn)練大模型雖然在眾多領(lǐng)域都表現(xiàn)出了良好的應(yīng)用效果，但這些效果所產(chǎn)生的商業(yè)價值，卻很難與大模型的訓(xùn)練成本、基礎(chǔ)設(shè)施投入成本畫上等號。

事實上，表面光鮮的大模型正在經(jīng)歷一個有些艱難的轉(zhuǎn)型階段：大模型不斷表現(xiàn)出的“神奇”效果，引發(fā)了資本、產(chǎn)業(yè)、學(xué)術(shù)界的巨大關(guān)注。隨著一個又一個大模型被訓(xùn)練完成，推向市場，卻會發(fā)現(xiàn)大模型的應(yīng)用場景與商業(yè)價值雖然有，但并不充沛。如何從“煉大模型”，走向“用大模型”，正在成為關(guān)鍵考驗。尤其值得注意的是，中國AI行業(yè)對大模型的投資、建設(shè)更加激進，那么大模型的應(yīng)用轉(zhuǎn)型考驗也將更加顯著、先覺地浮現(xiàn)于中國市場。

AI預(yù)訓(xùn)練大模型在目前階段的境況，讓我想到一個詞：白堊紀。

白堊紀是地質(zhì)年代中，中生代的最后一個紀元。這時候全球開始變暖，大陸架結(jié)構(gòu)開始定型?？铸堃琅f統(tǒng)治著世界，但哺乳動物已經(jīng)開始活躍。

大模型似乎也處在這樣一個階段里。被BERT、GPT-3夯定的大模型思路依舊籠罩在AI產(chǎn)業(yè)頭頂。但如何讓大模型走向新的應(yīng)用紀元，已經(jīng)成為一個非常熱切，同時略帶迷茫的必答題。

新物種開始出現(xiàn)，老物種依舊占據(jù)主流

在討論大模型的轉(zhuǎn)型之前，我們還是需要用一點篇幅回溯一下大模型的發(fā)展思路與應(yīng)用邏輯。

所謂的預(yù)訓(xùn)練大模型，是指在大規(guī)模寬泛數(shù)據(jù)上進行訓(xùn)練的基礎(chǔ)模型。它抓住了深度學(xué)習(xí)算法數(shù)據(jù)越多模型魯棒性越強的基礎(chǔ)特點，對模型進行暴力地“數(shù)據(jù)投喂”。經(jīng)過大規(guī)模數(shù)據(jù)的預(yù)訓(xùn)練后，模型可以適應(yīng)更多種類、更為復(fù)雜的下游任務(wù)，從而最終獲得更好的智能體驗。

大規(guī)模預(yù)訓(xùn)練模型，其實并不是一種技術(shù)路徑上的創(chuàng)新，而是更接近把握技術(shù)特征之后的工程創(chuàng)新。大模型之路被廣泛認可，開始于谷歌在2018年10躍發(fā)布BERT。它利用BooksCorpus和維基百科的大規(guī)模數(shù)據(jù)進行模型訓(xùn)練，在11個下游任務(wù)上刷新了當時的業(yè)界紀錄。

我們可以將大規(guī)模預(yù)訓(xùn)練模型理解為一種“預(yù)制菜”。既然用戶自己烹飪的難度太高，費工費火，那就不妨由商家先行預(yù)制。用戶將菜買回后加熱一下，加入自己喜歡的調(diào)料就能上桌食用。大模型的思路也是如此，它通過上游進行模型預(yù)訓(xùn)練，下游進行任務(wù)微調(diào)的方式來使更多產(chǎn)業(yè)能給應(yīng)用到效果好、質(zhì)量高的AI模型。

而經(jīng)過幾年的發(fā)展，大模型如今已經(jīng)來到了一個新舊交替的臨界點。這里的新舊交替可以分為兩個層面進行理解。首先大模型本身不斷進行技術(shù)層面的革新。我們知道，業(yè)界最具典型性，也最為出圈的大模型OpenAI在2020年5月發(fā)布的GPT-3。這一大模型具有1750億參數(shù)，在非常多文本生成類任務(wù)上有著出眾表現(xiàn)。而無論是BERT還是GPT-3，都是自然語言處理領(lǐng)域的大模型。而在GPT-3之后，大模型一方面在模型參數(shù)上不斷提升，同時也在技術(shù)上進行迭代。比如機器視覺大模型已經(jīng)成為行業(yè)的新主流，同時多模態(tài)大模型與行業(yè)知識緊密結(jié)合的大模型開始出現(xiàn)。推動大模型的能力覆蓋從語言走向視覺，繼而走向更復(fù)雜的綜合任務(wù)。

另一個層面的大模型新舊交替，體現(xiàn)在產(chǎn)業(yè)側(cè)對大模型應(yīng)用的呼喚上。隨著幾年時間過去，“我們必須趕快有一個大模型”的熱情開始消退；轉(zhuǎn)而產(chǎn)生了“我們確實有大模型，然后呢？”這樣的應(yīng)用焦慮。尤其對于中國市場來說更是如此。在美國AI界，大模型一直都是少數(shù)科技巨頭、學(xué)術(shù)組織在做，其中很多大模型的基礎(chǔ)定位就是AI技術(shù)投資的一部分。但在中國則不同，懷揣著對技術(shù)競爭的重視，大量互聯(lián)網(wǎng)、云計算企業(yè)都加入了大模型的構(gòu)建競賽，這些大模型必須找到有效的商業(yè)出口才能收回投資。同時，也有大量科研機構(gòu)、院校加入其中。于是我們可以在中國看到雨后春筍般發(fā)布的大模型，這樣做的優(yōu)勢是中國AI在大模型數(shù)量上遙遙領(lǐng)先，同時，也帶來了如此多的大模型項目應(yīng)該要如何消化和使用的問題。

目前階段，大模型產(chǎn)業(yè)的特征是那些直接對標GPT-3的大模型項目依舊占據(jù)主流，或者說并沒有給出太多有說服力的超越價值。同時，新的大模型技術(shù)思路與產(chǎn)業(yè)轉(zhuǎn)型思路也已經(jīng)開始出現(xiàn)。這正是白堊紀的特點：恐龍和哺乳動物共處一地，而新生物種正期待著更多變化到來。

大模型的野蠻生長，已經(jīng)陷入某種枯竭

幾年來，煉大模型成了AI領(lǐng)域最熱門，同時也最能引起輿論、資本關(guān)注的一件事。伴隨著大量大模型項目的快速上馬，我們很難判斷其中有哪些是抱著“競爭對手在做，所以我也要做”的互聯(lián)網(wǎng)心態(tài)來推動，又有哪些項目是為了與新基建、科技舉國體制等熱門概念掛靠火速上線。

整體來看，跑馬圈地式的大模型產(chǎn)業(yè)發(fā)展，為整個AI領(lǐng)域提供了一種積極昂揚的氛圍。推動大模型與各個行業(yè)、各科研領(lǐng)域結(jié)合變得比較輕松。與此同時，我們也很容易將大模型與更多AI技術(shù)，甚至VR、元宇宙、區(qū)塊鏈等同樣被稱為風(fēng)口的技術(shù)進行類比，并且發(fā)現(xiàn)大模型的發(fā)展軌跡，也有著諸多“野蠻生長”的痕跡。

其實從應(yīng)用角度看，大模型就像云計算一樣，是一種將產(chǎn)業(yè)上游投入進行收緊的集約化操作。一般來說，企業(yè)應(yīng)用AI有幾種方案。最簡單的一種是直接接入具有AI能力的標準化API，這種模式只能提供簡單的AI能力，無法覆蓋復(fù)雜的智能化需求；第二種是整體定制AI解決方案，這種方案需要產(chǎn)生高額的定制費用與專家成本，是最不經(jīng)濟劃算的一種；第三種是自己進行AI開發(fā)，這種最為貼近企業(yè)真實需求，但會導(dǎo)致開發(fā)出的模型不夠標準化，與業(yè)界領(lǐng)先水平具有差距，并且也要求企業(yè)具備AI開發(fā)經(jīng)驗與相關(guān)組織架構(gòu)。

大模型的出現(xiàn)，可以說是在幾種方案之間尋找平衡點。通過大規(guī)模預(yù)訓(xùn)練+微調(diào)的模式，若干企業(yè)與行業(yè)可以共享、重復(fù)應(yīng)用大模型。這樣企業(yè)既用到了高水準的AI能力，同時也避免了過重的開發(fā)成本與建設(shè)成本，也就是所謂的推動AI進入工業(yè)生產(chǎn)時代，拋棄作坊式的AI開發(fā)。

然而我們能夠發(fā)現(xiàn)，這種邏輯下最終一定會導(dǎo)致大模型數(shù)量較少，而下游應(yīng)用非常豐富的產(chǎn)業(yè)格局。在目前階段，情況恰恰相反。下游的大模型應(yīng)用處在方興未艾的階段，相關(guān)企業(yè)與解決方案并不斷。反而上游的大模型項目層出不窮，并且展現(xiàn)出了一定程度上的同質(zhì)化。這種野蠻生長，一般來說包含著幾種潛在問題：

1.過分聚焦大模型參數(shù)和數(shù)據(jù)集測試結(jié)果。

1700億參數(shù)的GPT-3，將大模型正式拉到了千億參數(shù)規(guī)模。隨后大模型的參數(shù)比拼不斷升級，很快我們就見到了萬億參數(shù)規(guī)模的大模型。追求大模型的參數(shù)巨大化，曾經(jīng)一度成為AI領(lǐng)域的主流，隨后也引發(fā)了相當多的反思。一味追逐模型體積大、訓(xùn)練數(shù)據(jù)規(guī)模大，會導(dǎo)致模型很難在現(xiàn)實場景中進行部署，并且低質(zhì)量的訓(xùn)練數(shù)據(jù)過多，很多時候會導(dǎo)致反向效果出現(xiàn)。

大模型領(lǐng)域另一個問題，是追逐在某項數(shù)據(jù)集測試中刷新紀錄。以標準化數(shù)據(jù)集評判大模型能力當然無可厚非。但很多時候數(shù)據(jù)集測試是有訣竅的，可以進行針對性調(diào)優(yōu)。一味關(guān)注測試結(jié)果，很可能導(dǎo)致大模型的實際應(yīng)用效果不足。

2.技術(shù)創(chuàng)新過分“個性化”。

由于大模型領(lǐng)域的競爭激烈，并且工程路線其實比較單一，為了標明自己的大模型具有差異化，業(yè)界開始興起了大模型的“微創(chuàng)新”熱潮。一般做法是，提出自己是業(yè)界首個某某技術(shù)上的大模型。但這項技術(shù)是否具有說服力，是否有足夠的實際應(yīng)用價值，則可能要打上一些問號。而隨著大家都是首個某某大模型，大模型的定義越來越復(fù)雜，評判標尺也越來越模糊。下游用戶選擇大模型的難度也隨之加大。一定要強調(diào)自己是“首個”，導(dǎo)致大模型陷入了混亂的創(chuàng)新局面。

3.打著國產(chǎn)化的名號，進行大量重復(fù)投資。

業(yè)界另一項關(guān)于大模型的問題，是隨著自主可控與國產(chǎn)化替代成為趨勢，相關(guān)企業(yè)與科研機構(gòu)開始大量進行重復(fù)的大模型投資。大模型國產(chǎn)化當然是合理且必要的。但不同企業(yè)、科研機構(gòu)與不同項目、不同地區(qū)政策之間合作，容易造成大模型國產(chǎn)化項目處于較低水平且重復(fù)建設(shè)的發(fā)展模式中，反而降低了國產(chǎn)化的最終效果。

在種子問題之下，大模型的野蠻生長雖然并未結(jié)束，但已經(jīng)顯露出了某種枯竭。推動大模型從參數(shù)為中心向應(yīng)用為中心轉(zhuǎn)變，是目前階段的核心問題。

大模型轉(zhuǎn)型，呈現(xiàn)出兩個思路

無論是稱作“煉大模型”，還是大模型的野蠻生長，可以看到中國AI大模型的第一階段發(fā)展處于一種飽和態(tài)勢中。雖然可能產(chǎn)生各種各樣的浪費與重復(fù)投資，但確實為整個產(chǎn)業(yè)長期發(fā)展打下了堅實基礎(chǔ)。

這一點最直接的體現(xiàn)，在于目前中國AI產(chǎn)業(yè)中與大模型發(fā)展相適配的基礎(chǔ)設(shè)施已經(jīng)非常完善。這一優(yōu)勢是此前很多技術(shù)，乃至深度學(xué)習(xí)技術(shù)剛剛興起時都不具備的。IDC發(fā)布的《Market Glance：中國AI大模型市場概覽，2022》報告提出，大模型作為人工智能融合產(chǎn)業(yè)級實踐的必然形式，目前底層支撐服務(wù)基本完善，多類型芯片持續(xù)迭代，圍繞訓(xùn)練能力、核心算子庫、上層軟件平臺深入布局優(yōu)化。

底層基礎(chǔ)支柱與配套設(shè)施的完善，讓大模型走向應(yīng)用更加順遂。在今天我們可以看到，大模型轉(zhuǎn)型應(yīng)用為中心，主要呈現(xiàn)出兩個發(fā)展思路。

1.擁抱AIGC，與歐美對齊的大模型發(fā)展思路。

從GPT-3出圈的自動協(xié)作，到近來火爆的AI作畫，再到谷歌與Meta最近紛紛押注的AI生成視頻，這項能力都可以歸納為AIGC（AI-Generated Content），即AI生成內(nèi)容。

AIGC能夠產(chǎn)生優(yōu)質(zhì)、復(fù)雜，甚至以假亂真的內(nèi)容，背后的“腦力”普遍來自大模型的支撐。因此在大模型亟待與商用價值接駁的時間段，AIGC也就構(gòu)成了最直接，最清晰的商業(yè)化路徑。但在目前階段，AIGC的商業(yè)化潛力還有待深耕。應(yīng)用范圍最廣的AIGC能力應(yīng)該就是AI作畫，但其本身面向的常態(tài)化用戶更多是插畫師、設(shè)計師、自媒體，大量C端用戶都是本著嘗鮮的心態(tài)試試看，其最終能夠激活多大的商業(yè)價值尚不明確。一般來說，AIGC中大模型扮演著雙重角色，一種是直接為大模型所屬企業(yè)的軟件提供支撐，最終按需求次數(shù)或積分完成商業(yè)轉(zhuǎn)化；另一種是賦能其他軟件開發(fā)者，通過模型使用或者帶動云計算、云存儲用量來完成商業(yè)價值。無論哪種形式，將AIGC從小眾需求變成大眾需求，同時進一步提升AIGC的商業(yè)空間都是當務(wù)之急。

另一個角度看，AIGC也是谷歌、Meta等歐美科技巨頭大規(guī)模投入的領(lǐng)域，因此國內(nèi)互聯(lián)網(wǎng)與AI企業(yè)是有發(fā)展參照物的。這一點當然帶來了很多競爭，但也將確保發(fā)展路線處在中國科技企業(yè)比較熟悉的發(fā)展節(jié)奏當中。

2.拓展大模型與行業(yè)智能化、科學(xué)計算的結(jié)合空間，中國大模型的自主探索。

就像AI技術(shù)本身一樣，中國產(chǎn)學(xué)政各界對大模型的深層期待是激活行業(yè)智能化價值，與中國經(jīng)濟整體應(yīng)用空間結(jié)合，甚至在中國激活第四次工業(yè)革命。而這條路則是完全新穎、缺乏參照物的大模型發(fā)展可能性。其最大的問題在于，經(jīng)過多年的發(fā)展，產(chǎn)業(yè)應(yīng)用AI依舊難以解決成本過高、難以規(guī)?；瘡?fù)雜的問題，大模型的成本更加高昂，能否逃出AI的成本效益陷阱也變得更加復(fù)雜。而且將大模型與具體行業(yè)、具體科研領(lǐng)域結(jié)合，雖然在歐美也有嘗試探索，但中國已經(jīng)依靠豐富的產(chǎn)業(yè)需求與全社會的數(shù)字化熱情走到了前列。如何在無人區(qū)激活大模型的長期價值，既是中國AI的機遇，也是嚴苛挑戰(zhàn)。

在目前階段，我們能看到一些AI廠商已經(jīng)推出了行業(yè)大模型，比如金融大模型、能源大模型等等。也有多個領(lǐng)域與大模型進行了跨界合作，比如中國商飛聯(lián)合科技廠商，發(fā)布了應(yīng)用于大飛機測試的流體仿真大模型、西安交大相關(guān)團隊應(yīng)用大模型在超級抗藥菌領(lǐng)域取得突破等等。

中國AI大模型，已經(jīng)在跨模態(tài)搜索、自動駕駛、數(shù)字人、生物醫(yī)療、材料化學(xué)、數(shù)學(xué)能領(lǐng)域進行了廣泛探索。但這些探索普遍處在跨領(lǐng)域合作與案例打造的階段，舉例堅實的商業(yè)化價值還有不短的路要走。尤其在如何攤薄大模型成本，推動規(guī)模化應(yīng)用方面還有非常多的挑戰(zhàn)。

不管怎么樣，大模型走向產(chǎn)業(yè)，走向商業(yè)化，已經(jīng)從“等等再說”變成了“時不我待”。不適應(yīng)新的變化，很可能無法走向更遠。

在清醒與未知中走向新生代

6500萬年前，白堊紀正式結(jié)束，地球迎來了最新的地質(zhì)時代：新生代。隨著恐龍滅絕，靈長類覺醒，整個地球的故事開始呈現(xiàn)出新的樣貌。

在今天，我們或許也會疑惑。如今大模型的發(fā)展成果、基礎(chǔ)設(shè)施建設(shè)、技術(shù)路線探索，究竟有多少能留到下一個階段呢？肯定是會有的，但大概率并不多。

我們必須清醒地認識到，大量大模型終歸會喪失產(chǎn)業(yè)空間。就像其他計算、存儲、AI基礎(chǔ)設(shè)施一樣，大模型到最后也只能留下被頻繁使用，形成基礎(chǔ)設(shè)施的極少數(shù)。轉(zhuǎn)型必然帶來新的投資與建設(shè)熱潮興起，以及傳統(tǒng)熱潮的消退。當產(chǎn)學(xué)各界不需要如火如荼般炮制大模型的時候，那些為此打造的算力、網(wǎng)絡(luò)、開發(fā)平臺基礎(chǔ)設(shè)施應(yīng)該何去何從？似乎也是一個需要提前思考的變量。

此外，我們還需要意識到大模型的前路不是一帆風(fēng)順的。大模型與行業(yè)融合，是一條根植中國經(jīng)濟與社會特性，并且蘊藏著極大價值可能性的新路。但經(jīng)過多年發(fā)展，我們會發(fā)現(xiàn)所有AI問題到最后都是成本問題。大模型能否掏出AI“有用，但過貴”的成本怪圈，能不能為IT、云計算、互聯(lián)網(wǎng)廠商帶來足夠的價值定位？這些問題依舊缺乏清晰的答案。

所以，大模型的白堊紀依舊沒有結(jié)束。但我們也知道拼參數(shù)、大量重復(fù)建設(shè)的大模型發(fā)展階段終會過去，而考驗在那時或許才剛剛開始。

很多人認為，大模型是深度學(xué)習(xí)2.0，是AI避免陷入第三次寒冬的諾亞方舟。它被寄托了太多期待。

在新的AI火苗被點燃前，大模型還將在很長時間里難以替代。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。