丨劃重點(diǎn)
1. 大型模型的每次訓(xùn)練成本通常在數(shù)百萬(wàn)美元以上,是一個(gè)非常消耗財(cái)力和計(jì)算資源的過(guò)程。
2. 參數(shù)是構(gòu)成模型本身的要素,類(lèi)似大腦神經(jīng)元數(shù)量等指標(biāo),參數(shù)量大小決定了模型的復(fù)雜程度,但不意味著參數(shù)越大越好。
3. 大模型應(yīng)用普遍存在計(jì)算能力的不足、數(shù)據(jù)的問(wèn)題、大模型訓(xùn)練所需的工具鏈以及缺乏專(zhuān)業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn)四個(gè)問(wèn)題。
4. 模型即服務(wù)意味著用戶(hù)只用關(guān)注模型本身,而無(wú)需關(guān)心模型本身底層的各類(lèi)復(fù)雜算法和工程化的過(guò)程。
丨概述
ChatGPT爆火7個(gè)月,盡管關(guān)注度略有下降,但“現(xiàn)象級(jí)產(chǎn)品”已經(jīng)不足以形容這款來(lái)自人工智能時(shí)代的產(chǎn)品。
在很多人看來(lái),以GPT為代表的大模型,是人類(lèi)到達(dá)通用人工智能(AGI)時(shí)代的橋梁,無(wú)論是谷歌、微軟這樣的巨頭,還是剛剛成立的初創(chuàng)團(tuán)隊(duì),都希望押寶大模型賽道,拿到通往未來(lái)時(shí)代的門(mén)票,“萬(wàn)模大戰(zhàn)”的局面就此誕生。
盡管人們對(duì)大模型、人工智能巨大的變革能力存在共識(shí),但是在具體的模型、算法、數(shù)據(jù)和算力等領(lǐng)域存在不同的觀(guān)點(diǎn)和看法。
7月5日20:00,《亮見(jiàn)》獨(dú)家邀請(qǐng)到了騰訊云TI平臺(tái)產(chǎn)品負(fù)責(zé)人 侯方,直播解讀大模型數(shù)據(jù)、算力價(jià)值、應(yīng)用場(chǎng)景探索以及平臺(tái)對(duì)大模型創(chuàng)業(yè)的賦能理念。
在侯方看來(lái),大模型的訓(xùn)練是一個(gè)成本非常高業(yè)務(wù),模型的參數(shù)量需要跟應(yīng)用場(chǎng)景匹配,越合適越好,算力則是越大越好,“大型模型的參數(shù)量越大,就需要更多的訓(xùn)練過(guò)程來(lái)填充這些參數(shù),這也意味著成本更高”。
與此同時(shí),侯方也分享了與客戶(hù)共同推動(dòng)大模型應(yīng)用方面的難題,包括 “計(jì)算能力的不足、數(shù)據(jù)的問(wèn)題、大模型訓(xùn)練所需的工具鏈以及缺乏專(zhuān)業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn)?!保c此同時(shí)他也提出了自己對(duì)大模型應(yīng)用的建議,他說(shuō),“從目前實(shí)際的經(jīng)驗(yàn)來(lái)看,第一個(gè)需要解決的問(wèn)題是確定適用的場(chǎng)景?!?/p>
侯方認(rèn)為會(huì)有越來(lái)越多的平臺(tái)加入到賦能的行列當(dāng)中,推出以模型即服務(wù)為代表的行業(yè)大模型精選商店,幫助解決客戶(hù)在模型和算力方面的難題,他也呼吁更多的團(tuán)隊(duì)選擇這樣的形式踏入大模型時(shí)代的門(mén)檻,以解決企業(yè)大模型落地的成本和效率方面的問(wèn)題。
以下為直播文字精華:
01
參數(shù)量越適合越好,算力越大越好
劉興亮:先科普一下大模型的參數(shù)量越大是否意味著越好?
侯方:大型模型看起來(lái)非常智能、復(fù)雜,實(shí)際上我們可以簡(jiǎn)單地理解它只是一系列矩陣。這些矩陣在數(shù)學(xué)中表示各種值,通過(guò)大量的矩陣運(yùn)算,完成整個(gè)智能的實(shí)現(xiàn)。
關(guān)于參數(shù)規(guī)模,自從ChatGPT問(wèn)世以來(lái),人們迅速開(kāi)始進(jìn)行比較。大家驚嘆于巨大的參數(shù)量,也意識(shí)到它產(chǎn)生了大量的智能涌現(xiàn)。
就模型本身而言,并不是說(shuō)參數(shù)越大越好,也不是說(shuō)參數(shù)越小越好,最重要的是要看你要解決什么問(wèn)題。在不同問(wèn)題場(chǎng)景下,你可能需要一個(gè)更大、更專(zhuān)業(yè)、更聚焦的模型,也可能只需要一個(gè)很小的模型。
所以,就參數(shù)量而言,從我的觀(guān)點(diǎn)來(lái)看,適合的才是最好的。
劉興亮:大模型參數(shù)是過(guò)去理解的數(shù)據(jù)嗎?如果用一句話(huà)來(lái)解釋可能是什么?
侯方:簡(jiǎn)單來(lái)說(shuō),大型模型通過(guò)學(xué)習(xí)數(shù)據(jù)并將其轉(zhuǎn)化為其內(nèi)部的參數(shù),這是相對(duì)直觀(guān)的解釋。
數(shù)據(jù)是指我們用于大型模型學(xué)習(xí)的語(yǔ)料,也就是我們提供給它的知識(shí),而參數(shù)則是構(gòu)成模型本身的要素,類(lèi)似于我們大腦中的神經(jīng)元數(shù)量等指標(biāo),參數(shù)量的大小一定程度上體現(xiàn)的是模型的復(fù)雜程度。
需要注意的是,訓(xùn)練大型模型的成本與數(shù)據(jù)、參數(shù)息息相關(guān)。模型訓(xùn)練涉及的數(shù)據(jù)量會(huì)影響訓(xùn)練成本,學(xué)習(xí)100條知識(shí)與學(xué)習(xí)1000萬(wàn)條知識(shí)的成本完全不同,因此數(shù)據(jù)規(guī)模對(duì)成本產(chǎn)生影響;而模型的參數(shù)量越大,就需要更多的訓(xùn)練數(shù)據(jù)和訓(xùn)練時(shí)間,這也意味著成本會(huì)更高。
從ChatGPT中可以看出,大型模型的每次訓(xùn)練成本通常在數(shù)百萬(wàn)美元以上,所以這是一個(gè)非常消耗財(cái)力和計(jì)算資源的過(guò)程。
大模型發(fā)展進(jìn)程圖,來(lái)源:新智元
劉興亮:說(shuō)到大模型,算力是躲不開(kāi)的話(huà)題,到底什么是算力,對(duì)于模型來(lái)說(shuō),它的價(jià)值在哪?
侯方:一般來(lái)說(shuō)算力越大越好。
算力多意味著模型訓(xùn)練本身的耗時(shí)就會(huì)變短,訓(xùn)練模型,大模型的智能涌現(xiàn)過(guò)程有一些大力出奇跡的過(guò)程,所以如果你擁有更多的算力資源,那就在模型訓(xùn)練本身就有更多嘗試的可能性。
算力是指在AI大模型訓(xùn)練中的計(jì)算能力,通常指的是GPU卡,也就是用于圖形處理的顯卡。這些顯卡在并行計(jì)算方面非常擅長(zhǎng),并且內(nèi)置了芯片和處理單元。當(dāng)然,CPU也可能提供一定的算力,因?yàn)樗怯?jì)算單元的一種形式,這就是算力的意義。
02
大模型應(yīng)用的四個(gè)難題
劉興亮:現(xiàn)如今企業(yè)對(duì)于大模型的需求體現(xiàn)在哪些方面?
侯方:自從大模型問(wèn)世以來(lái),我們與客戶(hù)交流和合作的頻次顯著增多。大家的想法和創(chuàng)意變得無(wú)限多樣化,我們也在不斷滿(mǎn)足各種各樣的需求。
在我之前接觸的客戶(hù)中,有幾個(gè)典型的例子,最常見(jiàn)的一個(gè)例子是客服領(lǐng)域應(yīng)用,以提升智能客服的體驗(yàn)和效率。許多企業(yè)都會(huì)面臨類(lèi)似的問(wèn)題,無(wú)論是銷(xiāo)售部門(mén)還是其他后勤支持部門(mén),客服的升級(jí)是我們目前接觸最多的一類(lèi)客戶(hù)需求。
客服領(lǐng)域涉及許多方面,不僅僅是直接生成答案,它還包括準(zhǔn)確性的要求,以及完成各種具體的任務(wù),比如預(yù)訂酒店、預(yù)訂機(jī)票等等。
除了客服領(lǐng)域,我們還接觸到了許多生成類(lèi)的需求,比如寫(xiě)小說(shuō)、撰寫(xiě)公文、報(bào)告、視頻腳本和營(yíng)銷(xiāo)文案等等,這個(gè)領(lǐng)域的需求非常廣泛多樣,因?yàn)橐獙?xiě)的東西種類(lèi)繁多,這是第二類(lèi)需求。
第三類(lèi)需求逐漸偏向?qū)I(yè)領(lǐng)域,包括編程、研報(bào)撰寫(xiě)、會(huì)議紀(jì)要等等。
劉興亮:企業(yè)現(xiàn)在在應(yīng)用大模型方面,遇到的核心難題會(huì)是什么?
侯方:由于ChatGPT 的出現(xiàn),大家一開(kāi)始都會(huì)有比較高的預(yù)期,認(rèn)為大模型能夠解決所有的問(wèn)題。單我們與客戶(hù)合作時(shí)常常遇到以下四個(gè)難點(diǎn):計(jì)算能力的不足、數(shù)據(jù)的問(wèn)題、大模型訓(xùn)練所需的工具鏈以及缺乏專(zhuān)業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn)。
首先是資源問(wèn)題,特別是計(jì)算能力。許多企業(yè)想要進(jìn)行大規(guī)模的模型訓(xùn)練,但他們自身的計(jì)算能力有限。例如,我們遇到過(guò)一些客戶(hù)只有兩張顯卡的機(jī)器,但他們想要處理更多復(fù)雜的任務(wù)。這不是因?yàn)樗麄儧](méi)有足夠的資金,而是在這個(gè)領(lǐng)域的積累或儲(chǔ)備相對(duì)不足,而當(dāng)前市場(chǎng)環(huán)境下比較難找到可用的計(jì)算資源,算力供不應(yīng)求已經(jīng)成為一個(gè)普遍的現(xiàn)象。
第二個(gè)問(wèn)題是數(shù)據(jù)。許多企業(yè)希望訓(xùn)練自己的模型,但卻面臨數(shù)據(jù)量不足,或者數(shù)據(jù)質(zhì)量不夠好的問(wèn)題,而模型訓(xùn)練非常依賴(lài)于數(shù)據(jù)的質(zhì)量和數(shù)量。此外,數(shù)據(jù)的清洗、配比和預(yù)處理等一系列工程任務(wù)也需要大量的工作,數(shù)據(jù)工程本身也具有一定難度。
第三個(gè)問(wèn)題是大模型訓(xùn)練所需的工具鏈。大模型訓(xùn)練需要一套完整的工具鏈,因?yàn)檫@個(gè)涉及到對(duì)于高性能算力、高性能存儲(chǔ)、多機(jī)多卡調(diào)度能力、加速框架等等。
最后一個(gè)問(wèn)題是缺乏專(zhuān)業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn)。大模型的雖然越來(lái)越多,但很多企業(yè)缺乏將其落地的專(zhuān)業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn),在實(shí)際落地的時(shí)候,會(huì)面臨模型選型、數(shù)據(jù)處理、訓(xùn)練方法選擇等問(wèn)題。
劉興亮:你會(huì)給企業(yè)管理者在應(yīng)用大模型方面提什么建議?
侯方:從目前的經(jīng)驗(yàn)來(lái)看,首要解決的是確定適用的場(chǎng)景。我們?cè)谂c各個(gè)客戶(hù)的交流中發(fā)現(xiàn),這是我們共同面臨的第一個(gè)關(guān)鍵問(wèn)題。
由于大模型技術(shù)還比較新穎,沒(méi)有人能夠斷言自己的大模型在某個(gè)特定場(chǎng)景下就是絕對(duì)最佳選擇,這需要我們不斷摸索和實(shí)踐。
其次是算力、數(shù)據(jù)、平臺(tái)工具的建設(shè),這些都是需要考慮的關(guān)鍵因素。
最后是一個(gè)比較普遍的建議,即擁抱大模型。由于大模型對(duì)于許多軟件和業(yè)務(wù)設(shè)計(jì),包括解決特定場(chǎng)景下問(wèn)題的方法,都提出了全新的思路和交互方式。
03
人工智能讓互聯(lián)網(wǎng)“又行了”
劉興亮:有哪些原因和客觀(guān)條件促成了現(xiàn)在的大模型的創(chuàng)業(yè)潮?
侯方:大模型技術(shù)的出現(xiàn)是整個(gè)技術(shù)領(lǐng)域中的一次根本性變革。
過(guò)去,我們更加注重算法,而隨后逐漸發(fā)展到深度學(xué)習(xí)階段,這個(gè)階段數(shù)據(jù)的作用開(kāi)始凸顯,但算法在其中仍然占有相對(duì)較高的比重。
隨著大模型的出現(xiàn),會(huì)發(fā)現(xiàn)只要提供數(shù)據(jù)和算力,模型就能自主學(xué)習(xí)很多東西。在這種情況下,算法本身的重要性在逐步降低,從技術(shù)的發(fā)展路徑來(lái)看,這是一個(gè)非常大的變革和進(jìn)化。
而從應(yīng)用的角度來(lái)看,過(guò)去幾年,AI在企業(yè)中的落地場(chǎng)景越來(lái)越多,應(yīng)用也越來(lái)越廣泛,并且融入到人們的生活中,接觸度也越來(lái)越高。
在以上幾個(gè)因素的推動(dòng)下,人們開(kāi)始堅(jiān)定地?fù)肀?a href="http://ygpos.cn/AI_1.html" target="_blank" class="keylink">AI和大模型技術(shù)。
劉興亮:AIGC的價(jià)值到底是什么,它給互聯(lián)網(wǎng)行業(yè)帶來(lái)什么樣的變化?
侯方:大模型最大的特點(diǎn)是生成式,通過(guò)將大量的數(shù)據(jù)和知識(shí)映射到數(shù)學(xué)空間中,通過(guò)多個(gè)維度對(duì)這些知識(shí)進(jìn)行解構(gòu)。一旦知識(shí)被解構(gòu),它們就可以通過(guò)重新組合產(chǎn)生現(xiàn)實(shí)中的各種作品,如藝術(shù)繪畫(huà)、文字或其他創(chuàng)作。
大模型的運(yùn)行依賴(lài)于大量的計(jì)算過(guò)程,這意味著它能夠以一種非常結(jié)構(gòu)化的方式學(xué)習(xí)和創(chuàng)造,利用上千億個(gè)維度進(jìn)行隨機(jī)組合,從而產(chǎn)生令人難以置信的作品,這就是為什么有時(shí)候它創(chuàng)作的畫(huà)作或文案讓人感到驚訝,而人類(lèi)自己往往無(wú)法想到或?qū)懗鲞@樣的作品。
因此,AI和大模型技術(shù)在內(nèi)容創(chuàng)作領(lǐng)域,尤其是內(nèi)容生成方面,將帶來(lái)許多新的技術(shù),輔助或替代人類(lèi)的創(chuàng)作過(guò)程,使我們能夠更加聰明地生成內(nèi)容,這確實(shí)是一種非常有效的狀態(tài)。
AIGC的上中下游,來(lái)源:《AIGC+AI生成內(nèi)容產(chǎn)業(yè)展望報(bào)告》量子位智庫(kù)
劉興亮: 在算力和數(shù)據(jù)上,小團(tuán)隊(duì)其實(shí)不占優(yōu)勢(shì),選擇成熟的開(kāi)源大模型進(jìn)行訓(xùn)練難道不香嗎?
侯方:實(shí)際上,現(xiàn)在很多企業(yè)都會(huì)嘗試開(kāi)源模型,大模型的發(fā)展離不開(kāi)開(kāi)源社區(qū)的貢獻(xiàn)。
不過(guò),使用開(kāi)源模型進(jìn)行訓(xùn)練存在一些門(mén)檻,需要一定的算法知識(shí)和行業(yè)經(jīng)驗(yàn)。
從落地的可行性的角度來(lái)看,更建議的做法是選擇云廠(chǎng)商提供的行業(yè)大模型,這些模型通常會(huì)針對(duì)特定行業(yè)進(jìn)行優(yōu)化,會(huì)更適合解決企業(yè)的實(shí)際問(wèn)題。
04
讓大模型創(chuàng)業(yè)變成“逛超市”?
劉興亮:我知道騰訊行業(yè)大模型不久前也剛剛發(fā)布,騰訊云也推出了大模型精選商店,并且提出了模型及服務(wù)(MaaS)的概念,應(yīng)該是在行業(yè)較早的提出這種行業(yè)大模型的模式,那什么是大模型精選商店,什么是模型即服務(wù)?
騰訊云Maas,打造一站式行業(yè)大模型精選商店
侯方:先從MAAS開(kāi)始說(shuō)起,這個(gè)概念其實(shí)很有趣,也是一個(gè)不斷演變的過(guò)程。
從最開(kāi)始的基礎(chǔ)設(shè)施及服務(wù)(Infrastructure and Services,簡(jiǎn)稱(chēng)IaaS),到后面的 PaaS,再到現(xiàn)在的 MaaS,都是在讓云服務(wù)本身變成越來(lái)越簡(jiǎn)單,以前使用的服務(wù)需要客戶(hù)業(yè)務(wù)系統(tǒng)自己開(kāi)發(fā)實(shí)現(xiàn),隨著 MaaS 服務(wù)的普及,會(huì)越來(lái)越降低大家使用 AI 服務(wù)的門(mén)檻。
MaaS在A(yíng)I和大模型領(lǐng)域里有很多重要的意義,它意味著我們可以將底層的內(nèi)部工作完全包裝起來(lái),用戶(hù)只需關(guān)注一個(gè)問(wèn)題:向模型請(qǐng)求某些東西,模型直接提供對(duì)應(yīng)的服務(wù)。
目前行業(yè)內(nèi)有模型領(lǐng)域有大量的可供選擇,不完全統(tǒng)計(jì)已經(jīng)超過(guò)800個(gè)模型。面對(duì)如此多的選擇,我們需要思考如何選擇和應(yīng)用模型,類(lèi)似的問(wèn)題在算法模型方面也存在。因此,騰訊的思路是在TI平臺(tái)上精選了各個(gè)行業(yè)的大模型,類(lèi)似“模型超市”的概念,根據(jù)客戶(hù)場(chǎng)景和行業(yè)特性進(jìn)行精選,以提供最適合的模型。
劉興亮:模型商店給客戶(hù)提供的核心價(jià)值是什么?
侯方:多個(gè)行業(yè)的高質(zhì)量大模型,相應(yīng)的配套工具,更低成本,更高效地幫助企業(yè)應(yīng)用大模型,這是大模型精選商店的三個(gè)核心價(jià)值。
劉興亮:從實(shí)際的觀(guān)察來(lái)看,行業(yè)大模型是目前AI大模型技術(shù)落地的有效路徑嗎?
侯方:行業(yè)大模型是目前來(lái)看比較有效的路徑之一,在面對(duì)一些普遍性的挑戰(zhàn),包括算力、數(shù)據(jù)時(shí),行業(yè)大模型提供了一個(gè)較好的解決方案。然而我們很難確定未來(lái)五年或十年的發(fā)展方向,因?yàn)榇竽P偷漠a(chǎn)業(yè)革命才剛剛開(kāi)始,它將演化成何種狀態(tài)還不得而知。
劉興亮:AI大模型商業(yè)化落地有哪些方式?
侯方:行業(yè)大模型是一個(gè)有效的方式,因?yàn)樵谏虡I(yè)化落地中,我們除了解決問(wèn)題外,還要考慮到ROI,這是商業(yè)化中大家都關(guān)注的核心問(wèn)題。
我認(rèn)為,在商業(yè)化落地中,一個(gè)關(guān)鍵因素是創(chuàng)造出能夠解決客戶(hù)問(wèn)題的價(jià)值,無(wú)論是商業(yè)提供方還是商業(yè)需求方。只有這樣,商業(yè)化落地才能持久發(fā)展。商業(yè)化落地不僅涉及解決客戶(hù)問(wèn)題,還涉及人們情感和交流需求等方面。雖然這種場(chǎng)景可能不一定是行業(yè)大模型所涉及的,但它確實(shí)也是一個(gè)非常好的商業(yè)化落地場(chǎng)景。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀(guān)察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀(guān)點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 僅售999元 月底開(kāi)售 閃極打響AI眼鏡量產(chǎn)發(fā)令槍
- 蘿卜快跑走紅、滴滴加碼,中國(guó)Robotaxi大戰(zhàn)升級(jí)
- 雷軍無(wú)暇顧及董明珠
- 不僅漲價(jià),美國(guó)芯片還得求著要,臺(tái)積電技術(shù)遙遙領(lǐng)先有底氣!
- 掃地機(jī)新技術(shù)看追覓
- 特朗普示好,最高法介入,TikTok賣(mài)家極限生死局
- 釋放數(shù)字金融向新力 奇富科技金融A(yíng)I大模型成果落地上海金融科技國(guó)際論壇特展周活動(dòng)
- 劉興亮|酒局十誡
- 未來(lái)屬于會(huì)用AI的企業(yè)!自己做的免費(fèi)智慧發(fā)票助手,簡(jiǎn)單又強(qiáng)大
- 一觸“伙伴+華為”體系,傳媒行業(yè)點(diǎn)亮數(shù)智之光
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。