對于絕大多數(shù)AI創(chuàng)業(yè)者來說，AGI的技術(shù)信仰是月亮，商業(yè)化能賺到錢的應(yīng)用則是六便士，而一家中國公司，卻將月亮和六便士都握在了手中。
彩云科技的CEO袁行遠(yuǎn)，一直將AGI作為自己的終生目標(biāo)。大模型被認(rèn)為是通往AGI之路，所以彩云科技決心為這條AGI之路掃清阻礙，通過優(yōu)化Transformer架構(gòu)，助力大模型效率提升，為此開發(fā)出DCFormer全新通用模型架構(gòu)。
敢于啃最難啃的骨頭，讓彩云科技與許多只敢停留在應(yīng)用層的AI公司，形成了鮮明對比。
這并不意味著彩云科技全是一群離群索居、不食人間煙火的極客。他們也打造了AI時(shí)代的爆款應(yīng)用，如彩云小夢、彩云小譯和彩云天氣。其中2021 年上線的彩云小夢1.0，是全球領(lǐng)先的 AIRPG 平臺，同時(shí)發(fā)布了海外版Dreamily，目前已經(jīng)吸引了60%中國大陸用戶、30%歐美用戶、10%東南亞用戶，在平臺上進(jìn)行AI寫作。
可以看到，彩云科技的AI商業(yè)化表現(xiàn)也很出色，是國內(nèi)為數(shù)不多能夠?qū)崿F(xiàn)盈利的AI公司。
只追求月亮?xí)I死，只追求商業(yè)化會活得庸俗。在AI的理想與現(xiàn)實(shí)之間，彩云科技究竟是如何找到平衡點(diǎn)的？
AGI通用人工智能，被認(rèn)為是人工智能領(lǐng)域的圣杯。而大模型，是目前通往AGI的必由之路。2023年大模型技術(shù)火爆全球，但技術(shù)進(jìn)化才剛剛開始。比如大模型的核心技術(shù)突破——Transformer架構(gòu)，就有一系列問題有待解決。
想摘下AGI的圣杯，AI行業(yè)必須先跨越Transformer架構(gòu)的瓶頸：
1.效率瓶頸。大模型在并行計(jì)算過程中需要頻繁重寫檢查點(diǎn)（checkpoint），延長了訓(xùn)練周期。增強(qiáng)Transformer架構(gòu)的計(jì)算效率，可以大幅縮減計(jì)算時(shí)間，提升大模型的開發(fā)效率。
2.能源瓶頸。大模型參數(shù)規(guī)模邁向超萬億，會消耗巨額電力資源，有新聞報(bào)道，一個(gè)十萬億或五十萬億參數(shù)的大模型就能用光一座小城市的所有電量。為了減少耗電量和能源負(fù)擔(dān)，提升大模型的計(jì)算效率，縮短計(jì)算時(shí)間，已經(jīng)刻不容緩。
3.普及瓶頸。一味追求scale-up的大模型技術(shù)，對算力、存儲、傳輸、運(yùn)維等各個(gè)資源的需求也直線上升，會帶來高昂的落地成本和部署難度。AI的廣泛應(yīng)用和普及，才能推動各行各業(yè)智能化，所以大模型必須從追求“變大”到“變聰明”，底層Transformer架構(gòu)的優(yōu)化勢在必行。
正如袁行遠(yuǎn)所說，“沒有（計(jì)算）效率的提升，AI就是鏡花水月”。
為了有一天人類能真正將AGI這枚月亮抱在懷里，彩云科技從一開始就瞄準(zhǔn)了底層架構(gòu)，主動擔(dān)起了優(yōu)化Transformer架構(gòu)的技術(shù)挑戰(zhàn)，也成為在這一領(lǐng)域率先取得顯著成果的中國公司。
2024年5 月，彩云科技全新大模型論文《Improving Transformers with Dynamically Composable Multi-Head Attention》發(fā)布在arXiv平臺，并順利被AI頂會ICML2024收錄，論文評分高達(dá)7分，遠(yuǎn)高于今年平均分。同時(shí)受邀在今年7月登臺發(fā)表演講，成為9473篇論文中唯二斬獲Oral論文的中國企業(yè)，另一家是華為。
大家想必都很好奇，論文中發(fā)布的DCFormer架構(gòu)到底有什么過人之處？
我們可以把大模型訓(xùn)練，看作是一個(gè)大型復(fù)雜任務(wù)，需要很多個(gè)打工人（注意力頭），背著自己的參數(shù)集和數(shù)據(jù)在干活。
而Transformer的核心組件——多頭注意力模塊（MHA），將查找選擇回路和變換回路給綁定在一塊兒了，交給同一個(gè)注意力頭。試想一下，當(dāng)一個(gè)打工人既得關(guān)注查找，又得關(guān)注變換，專注性就會受到損害，而且完成的工作大概率也跟別人有重復(fù)，這就降低了整個(gè)組織的效率。
那更合理的辦法是什么呢？當(dāng)然就是多雇些人、專事專辦唄。讓不同的“注意力頭”關(guān)注不同方面，一群專業(yè)的人靈活協(xié)作，干的活效率更高，質(zhì)量也更好。
所以DCFormer框架，就是給注意力頭“減負(fù)”，來提高大模型的效率。
彩云科技提出的可動態(tài)組合的多頭注意力（DCMHA），解除了MHA注意力頭的查找選擇回路和變換回路的固定綁定，讓它們可以根據(jù)輸入動態(tài)組合。這就為DCFormer框架帶來了幾個(gè)變化：
1.靈活性提高。由于DCMHA允許根據(jù)輸入動態(tài)組合不同的查找和變換回路，讓應(yīng)用了DCFormer的模型，能夠更靈活地處理復(fù)雜任務(wù)。
2.表達(dá)能力提高。MHA的固定綁定導(dǎo)致模型無法充分捕捉輸入數(shù)據(jù)的多個(gè)不同特性，表達(dá)能力也受到影響。DCMHA從根本上提升了模型的表達(dá)能力。
3.效率提高。查找和變換被固定綁定，會導(dǎo)致不同的注意力頭學(xué)習(xí)到相似的信息，造成功能上的重復(fù)冗余，不僅降低了計(jì)算效率，還會浪費(fèi)計(jì)算資源。通過可動態(tài)組合的多頭注意力（DCMHA）解綁之后，DCFormer框架實(shí)現(xiàn)了對Transformer架構(gòu)1.7—2倍的提升，也可以讓模型成本進(jìn)一步下降。
總結(jié)一下，DCFormer框架從底層改變了注意力頭的組合方式。如果說打破Transformer計(jì)算瓶頸，加速AGI進(jìn)程，是彩云科技的逐月之旅。那么DCFormer框架，就是彩云科技為夢想所打造的一座天梯，讓大模型在上面實(shí)現(xiàn)了效率、性能、成本優(yōu)化等多方面的飛躍。
沿著DCFormer的天梯望過去，一個(gè)大模型為核心的AI時(shí)代，好像離我們真的不遠(yuǎn)了。
避免這一輪大模型的AI浪潮走向泡沫，必須讓技術(shù)致用，形成商業(yè)閉環(huán)。賺到六便士，是AI獲得長期生命力的前提。
從技術(shù)到商業(yè)的轉(zhuǎn)化，彩云科技同樣敢為人先。目前，彩云科技的AI應(yīng)用已經(jīng)獲得了在DCFormer架構(gòu)的一系列助益，有望實(shí)現(xiàn)商業(yè)騰飛。
比如既有能力的大幅升級。作為國內(nèi)首個(gè)分鐘級天氣預(yù)報(bào)，街道級定位精度的天氣預(yù)報(bào)服務(wù)，彩云天氣基于DCFormer帶來的模型效率提升，有望在未來將分鐘級的高準(zhǔn)確率預(yù)測時(shí)長從2小時(shí)擴(kuò)展到3—12小時(shí)，能力進(jìn)一步提升。
再比如全新能力的拓展。彩云科技旗下AI RPG平臺彩云小夢，采用了全新的DCFormer架構(gòu)，V4、V5版本有望擴(kuò)展到2000-5000字的創(chuàng)作，再通過故事工程優(yōu)化，目標(biāo)是一年內(nèi)可以輕松創(chuàng)作出達(dá)到專業(yè)作家水平的5萬字長度中篇故事，同時(shí)小夢角色扮演的故事體驗(yàn)，也能達(dá)到專業(yè)編劇的水平。憑借優(yōu)異的性能，彩云小夢在小說續(xù)寫、AI陪伴等領(lǐng)域，已經(jīng)實(shí)現(xiàn)了用戶使用時(shí)長斷崖式的領(lǐng)先。
不難看到，DCFormer架構(gòu)為彩云科技的AI產(chǎn)品化、AI商業(yè)化，奠定了騰飛的基礎(chǔ)條件。也證明，唯有基于底層技術(shù)創(chuàng)新，AI產(chǎn)品才能避免同質(zhì)化競爭，打造出極具說服力和差異化的產(chǎn)品體驗(yàn)，從而建立碾壓式的市場優(yōu)勢。
大模型爆火以來，國外做底層創(chuàng)新、國內(nèi)做應(yīng)用改良，似乎成了慣例。
中國AI企業(yè)不敢向底層創(chuàng)新下大力氣，更希望低頭撿起六便士，并不是不愿意抬頭追逐月亮，而是技術(shù)代際的現(xiàn)實(shí)差距、算力資源受限的實(shí)際情況、商業(yè)回報(bào)的約束和壓力，都是切實(shí)存在的。
而提到那些敢于逐月的AI公司，我們第一時(shí)間想到的是國內(nèi)科技巨頭，很少人知道彩云科技是國內(nèi)最早做LLM（大語言模型）的公司之一，而且敢于追逐AGI的夢想，向底層技術(shù)發(fā)起沖鋒。
既能仰頭逐月，也能低頭搞好商業(yè)化，彩云科技可以作為一個(gè)國內(nèi)AI公司找到技術(shù)和商業(yè)平衡點(diǎn)的成功樣本。
彩云科技區(qū)別于主流AI公司的獨(dú)特之處，在于其是個(gè)少見的“三有少年”：
有信仰。作為一個(gè)體量較小的科技公司，彩云科技利用效率更高的模型架構(gòu)，在與世界頂級人工智能企業(yè)的對抗中取得優(yōu)勢。如果沒有AGI的技術(shù)信仰，一個(gè)小公司是想不到、不敢做優(yōu)化Transformer架構(gòu)這件事的。
有技術(shù)產(chǎn)品化的能力。Transformer架構(gòu)由谷歌率先提出，卻被OpenAI摘了桃子，ChatGPT成為這一輪LLM里程碑，這得益于chatbot聊天機(jī)器人功能的產(chǎn)品化程度更高，更貼近大眾。彩云科技的成功也在于此，并沒有單純地只發(fā)paper，而是盡快將DCFormer與產(chǎn)品集成，讓技術(shù)盡快轉(zhuǎn)化為產(chǎn)品落地。這種技術(shù)產(chǎn)品化的能力，可以讓底層創(chuàng)新快速投向市場，形成良性循環(huán)。
有長坡厚雪的環(huán)境。創(chuàng)新，需要長期耐心地投入；產(chǎn)品化，需要深入行業(yè)和用戶之中的經(jīng)驗(yàn)和感覺。這就是巴菲特所說的“長坡厚雪”，要有足夠強(qiáng)的盈利和長期增長的賽道。這是很多AI初創(chuàng)企業(yè)所缺乏，但彩云科技恰好具備的。十年間，彩云科技打造的數(shù)款足夠成熟和商業(yè)化的AI產(chǎn)品，為技術(shù)創(chuàng)新營造了長坡厚雪的良好環(huán)境。
“三有少年”彩云科技，找到了理想與現(xiàn)實(shí)之間的平衡點(diǎn)，正沿著DCFormer架構(gòu)的天梯，朝著AGI的月亮飛翔。這條彩云逐月之路，也讓我們看到了AI產(chǎn)品化、商業(yè)化的清晰增長路徑。
免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
