極客網(wǎng)·極客觀察5月24日 科幻小說《沙丘》中有這樣一句話:“誰控制了GPU,誰就控制了宇宙?!痹诮裉斓目萍际澜纾绻募移髽I(yè)想在AI領(lǐng)域有所見樹,就要購買英偉達(dá)GPU。
分析師們喋喋不休,將追逐AI夢想的企業(yè)分成兩類,也就是“GPU-rich”和“GPU-poor”,前者擁有大量GPU,后者沒有多少。為了證明自己的實(shí)力,科技企業(yè)的老板們紛紛炫耀,說自己囤了多少GPU。
受到AI浪潮的刺激,英偉達(dá)市值沖至2萬億美元。5月22日英偉達(dá)公布一季度財(cái)報(bào),財(cái)報(bào)顯示期內(nèi)英偉達(dá)營收260.4億美元,同比增長262%;凈利148.8億美元,同比增長628%。
那么,能不能拋開GPU設(shè)計(jì)AI專用芯片?當(dāng)然可以,這也是許多大小企業(yè)正在做的,它們想挑戰(zhàn)英偉達(dá)。
英偉達(dá)主導(dǎo)的GPU也有缺陷
從本質(zhì)上講,CPU是一件事一件事接著處理,GPU不一樣,它擁有幾千個(gè)處理引擎(或者叫Core),可以在同一時(shí)間處理幾千個(gè)簡單的任務(wù)。當(dāng)GPU運(yùn)行AI大模型時(shí),相當(dāng)于同時(shí)運(yùn)行幾千個(gè)相同任務(wù)的副本。搞清楚如何重寫在GPU上運(yùn)行的AI代碼是核心問題,正是因?yàn)榇蠹覍@一問題的研究導(dǎo)致AI突飛猛進(jìn)。
但GPU也有缺陷,當(dāng)數(shù)據(jù)來回移動時(shí)GPU的處理速度不夠快。現(xiàn)代AI大模型運(yùn)行時(shí)往往需要大量GPU和大量存儲芯片,它們相互連接在一起。數(shù)據(jù)在GPU和存儲芯片間移動越快,性能越好。當(dāng)研究人員訓(xùn)練大型AI模型時(shí),一些GPU內(nèi)核會閑置,幾乎一半的時(shí)間都在等待數(shù)據(jù)。
加州創(chuàng)業(yè)公司Cerebras創(chuàng)始人Andrew Feldman解釋說,等待數(shù)據(jù)如同購物節(jié)來臨時(shí)購物者在生鮮店門前排隊(duì)。他說:“每個(gè)人都在排隊(duì),停車場堵了,通道堵了,收銀臺也堵了,GPU與此類似。”
怎么辦?Cerebras將90萬個(gè)內(nèi)核和海量內(nèi)存組合在一起,變成一個(gè)龐大的整體。如此一來,多塊芯片的連接復(fù)雜性降低,中間的數(shù)據(jù)移動速度加快。內(nèi)核在芯片上連接在一起,運(yùn)行速度比獨(dú)立GPU組合快幾百倍,因?yàn)檫B接更緊密,能耗比英偉達(dá)產(chǎn)品降低一半。
Groq來自加州山景城,它選擇的路徑有些不同。它也在開發(fā)AI芯片,名叫語言處理單元(LPU),可以訓(xùn)練、運(yùn)行大語言模型(LLM)。芯片內(nèi)有存儲元件,同時(shí)芯片又有路由功能,在相互連接的LPU間傳輸數(shù)據(jù)。搭配智能路由軟件,它可以消除延遲,降低數(shù)據(jù)等待時(shí)間。獨(dú)特的設(shè)計(jì)大大提升了效率和速度,Groq稱它們的LPU運(yùn)行LLM時(shí)速度比現(xiàn)有系統(tǒng)快10倍。
來自加州的MatX公司反向操作,它認(rèn)為,GPU內(nèi)包括各種功能和電路,這些組件適合圖形處理,但在LLM領(lǐng)域沒有用。MatX將不必要組件剔除,當(dāng)芯片執(zhí)行一些任務(wù)時(shí)性能反而會更好。
還有很多企業(yè)也在默默努力,比如以色列Hailo,它于今年4月融資1.2億美元;多倫多Taalas,美國Tenstorrent,它們用開源RISC V架構(gòu)開發(fā)AI芯片;英國企業(yè)Graphcore,它早早就進(jìn)了場,但失敗了,現(xiàn)在考慮賣身給軟銀。
科技巨頭也在開發(fā)自己的AI芯片,比如谷歌、亞馬遜、Meta和微軟,它們也開發(fā)了面向云端AI的定制芯片。AMD、英特爾直接與英偉達(dá)競爭,已經(jīng)擁有GPU AI芯片。
挑戰(zhàn)英偉達(dá)壟斷地位不容易
新手們挑戰(zhàn)霸主勇氣可嘉,但它們可能太激進(jìn),走得太遠(yuǎn)了。
斯坦福大學(xué)計(jì)算機(jī)科學(xué)家Christos Kozyrakis表示,設(shè)計(jì)一款芯片需要2-3年,考慮到AI大模型正在快速進(jìn)化,2-3年是很漫長的時(shí)間。
創(chuàng)業(yè)公司如果想成功,最好是抓住機(jī)會,提前為未來模型設(shè)計(jì)芯片,芯片的性能比英偉達(dá)的一些GPU更好,那樣就能找到突破口。但選擇這條路風(fēng)險(xiǎn)也很大,企業(yè)為未來模型設(shè)計(jì)專用芯片,最終可能發(fā)現(xiàn)下錯(cuò)的注。
MatX公司聯(lián)合創(chuàng)始人Reiner Pope認(rèn)為他們看到了未來,最新的狀態(tài)空間模型漸漸流行,MatX完全可以適配。Cerebras創(chuàng)始人Andrew Feldman認(rèn)為,現(xiàn)代AI本質(zhì)上還是“稀疏線性代數(shù)(sparse linear algebra),他們開發(fā)的芯片可以快速適應(yīng)。
挑戰(zhàn)英偉達(dá)還有一個(gè)障礙,那就是軟件層。CUDA實(shí)際上已經(jīng)成為行業(yè)標(biāo)準(zhǔn),雖然用起來繁瑣,但它的標(biāo)準(zhǔn)地位難以撼動。
Christos Kozyrakis認(rèn)為,軟件為王,在這方面英偉達(dá)優(yōu)勢明顯,畢竟它已經(jīng)花了多年時(shí)間打磨軟件生態(tài)系統(tǒng)。AI芯片創(chuàng)業(yè)公司如果想成功,必須說服程序員為新芯片優(yōu)化程序。企業(yè)要提供軟件工具,還要提供兼容的主流機(jī)器學(xué)習(xí)框架。問題在于,優(yōu)化軟件,讓它適配新架構(gòu),這項(xiàng)工作既困難又復(fù)雜。
AI芯片的客戶比較簡單,一類是大模型開發(fā)者,比如OpenAI、Anthropic、Mistral,還有就是科技巨頭,比如亞馬遜、微軟、Meta、谷歌。它們有興趣收購優(yōu)秀的AI芯片創(chuàng)業(yè)公司,奪取技術(shù),增強(qiáng)自身競爭力。芯片創(chuàng)業(yè)公司可以放棄與英偉達(dá)競爭,努力賣身給上述兩類企業(yè)。
MatX的目標(biāo)很遠(yuǎn)大,它想將芯片賣給OpenAI、谷歌之類的企業(yè),當(dāng)然賣身也可以考慮。MatX稱:“對于多種退出方式我們都是歡迎的,但我們還是認(rèn)為,作為一家獨(dú)立公司,業(yè)務(wù)是可以持續(xù)的。”Cerebras則說它準(zhǔn)備上市。
總體來看,雖然有許多創(chuàng)業(yè)公司試圖挑戰(zhàn)英偉達(dá),但至今還沒有哪家能造成威脅,一切還有待時(shí)間驗(yàn)證。(小刀)
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美媒:一些中國大模型已經(jīng)追平甚至超越美國產(chǎn)品
- 透過這場開發(fā)者圈的“年度盛典”,窺見華為開發(fā)者生態(tài)構(gòu)建之道
- 谷歌Willow量子芯片有進(jìn)步 但離實(shí)用還很遙遠(yuǎn)
- LLM很難變成AGI?科學(xué)家:創(chuàng)造AGI理論上可行
- PON在園區(qū)網(wǎng)絡(luò)的“先天不足”,無源以太全光來拯救!
- 英特爾CEO黯然退場背后:芯片制造陷泥潭,AI起大早趕晚集
- 開源5年樹立新里程 openEuler以智能 致世界
- 華為推出Mate 70手機(jī)引發(fā)高度關(guān)注 看外媒是如何評價(jià)的?
- 5G-A終端規(guī)模鋪開響應(yīng)“以舊換新”,湖北移動“機(jī)網(wǎng)套”協(xié)同刺激內(nèi)需
- 六載華為開發(fā)者大賽,“賽”出云上開發(fā)新生態(tài)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。