大模型的中場(chǎng)戰(zhàn)事，深入垂直行業(yè)腹地

科技云報(bào)道原創(chuàng)。

自從OpenAI于2022年11月推出ChatGPT后，一場(chǎng)波及全球科技界的“AI海嘯”就此爆發(fā)。

自今年以來(lái)，國(guó)內(nèi)已有超過(guò)30家企業(yè)入局大模型賽道。從百度“文心一言”、阿里“通義千問(wèn)”的發(fā)布，到網(wǎng)易“玉言”、科大訊飛“星火”、昆侖萬(wàn)維“天工”等的推出，再到騰訊“混元”、京東“ChatJD”、華為“盤古”等的預(yù)告。互聯(lián)網(wǎng)巨頭、科技公司紛紛秀出“肌肉”，誰(shuí)也不想在這場(chǎng)大模型混戰(zhàn)中掉隊(duì)。

在由OpenAI引發(fā)的這場(chǎng)狂奔中，大模型的發(fā)展階段已經(jīng)從“通用”邁入“垂類”。如果說(shuō)通用大模型是大模型發(fā)展的初期階段，那么垂直場(chǎng)景應(yīng)用則可以視為“中場(chǎng)戰(zhàn)事”。

在該階段，應(yīng)用與場(chǎng)景先行，倒逼垂直領(lǐng)域的大模型飛躍發(fā)展。不少醫(yī)療、金融、教育等行業(yè)內(nèi)擁有用戶數(shù)據(jù)積累的企業(yè)，已開(kāi)始基于大模型“底座”，訓(xùn)練適配自身的垂類模型，比如近期由上海聯(lián)通、華山醫(yī)院聯(lián)合開(kāi)發(fā)的Uni-talk、醫(yī)聯(lián)“MedGPT”、云知聲的“山?！钡取?/p>

大模型路線分化

大模型讓人類感受到的智能，是就像人類自身的學(xué)習(xí)那樣，通過(guò)通用知識(shí)和邏輯能力的訓(xùn)練，具備了解決各種問(wèn)題的能力。

大模型也有這種能力，基于文本語(yǔ)料采用無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練的模型可以用少量的監(jiān)督樣本，用于各類機(jī)器學(xué)習(xí)任務(wù)，比如圖片分類、翻譯、對(duì)話、寫代碼等，這樣的能力就是所謂的通用能力。

當(dāng)大模型發(fā)展到一定階段，各領(lǐng)域企業(yè)意識(shí)到，其通用能力已無(wú)法承載更為專業(yè)的領(lǐng)域，比如醫(yī)療、金融等，每一個(gè)領(lǐng)域都是獨(dú)立的知識(shí)體系，具備極為龐雜的知識(shí)量，顯然僅靠通用大模型無(wú)法滿足垂直領(lǐng)域的需求，這也為大模型之后發(fā)展路徑的分化埋下了伏筆。

事實(shí)上，通用大模型發(fā)展至今，面臨算力需求大、訓(xùn)練和推理成本高、數(shù)據(jù)質(zhì)量不佳等挑戰(zhàn)。一個(gè)成功的且可對(duì)外商業(yè)化輸出的通用大模型，要求廠商擁有全棧大模型訓(xùn)練與研發(fā)能力、業(yè)務(wù)場(chǎng)景落地經(jīng)驗(yàn)、AI安全治理舉措、以及生態(tài)開(kāi)放性等核心優(yōu)勢(shì)。

另外，訓(xùn)練基礎(chǔ)模型的成本也是非常之高，做一個(gè)千億級(jí)的大模型，需要單機(jī)群萬(wàn)卡以上的算力。從國(guó)內(nèi)外來(lái)看，真正做通用模型的公司并沒(méi)有那么多。相反，訓(xùn)練垂直領(lǐng)域模型所需要的代價(jià)和資源遠(yuǎn)遠(yuǎn)小于從零開(kāi)始做通用模型。

因而，從商業(yè)邏輯的角度來(lái)看，大部分公司不具備做通用大模型的能力，巨頭更適合做通用大模型，擁有豐富場(chǎng)景數(shù)據(jù)積累的公司更適合做垂域模型。

垂類大模型以深度解決行業(yè)需求為主，即企業(yè)在自己擅長(zhǎng)的領(lǐng)域訓(xùn)練適合自己的“產(chǎn)業(yè)版GPT”。這類大模型生成的內(nèi)容更符合特定垂類場(chǎng)景的需求，質(zhì)量更高。

當(dāng)前，已經(jīng)可以看到不少垂類模型應(yīng)用在金融、醫(yī)療、交易等場(chǎng)景中。比如，彭博社根據(jù)自身豐富的金融數(shù)據(jù)資源，基于GPT-3框架再訓(xùn)練，開(kāi)發(fā)出了金融專屬大模型BloombergGPT。

由此，大模型賽道目前出現(xiàn)了三類廠商：一類對(duì)標(biāo)GPT的通用大模型，聚焦基礎(chǔ)層的廠商；一類是在開(kāi)源大模型基礎(chǔ)之上訓(xùn)練垂類大模型，聚焦垂直行業(yè)的企業(yè)；另一類則是專注具體應(yīng)用的純應(yīng)用公司。

通用VS垂類

從通用大模型到垂類大模型，是大模型技術(shù)發(fā)展到一定階段的必然結(jié)果。

垂直大模型的發(fā)展主要體現(xiàn)在各個(gè)領(lǐng)域的模型性能持續(xù)提升，例如語(yǔ)音識(shí)別的錯(cuò)誤率逐年下降，自然語(yǔ)言處理的語(yǔ)義理解能力不斷提升等。通用大模型則在多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)等方面取得了顯著進(jìn)展，已經(jīng)成為自然語(yǔ)言處理領(lǐng)域的重要研究方向。

比如，生物大模型能夠提高AI制藥效率。國(guó)外的研究報(bào)告顯示，AI可以將新藥研發(fā)的成功率提高16.7%，AI輔助藥物研發(fā)每年能節(jié)約540億美元的研發(fā)費(fèi)用，并在研發(fā)主要環(huán)節(jié)節(jié)約40%至60%的時(shí)間成本。根據(jù)英偉達(dá)公開(kāi)資料，使用AI技術(shù)可使藥物早期發(fā)現(xiàn)所需時(shí)間縮短至三分之一，成本節(jié)省至兩百分之一。

在產(chǎn)業(yè)角度來(lái)看，通用模型就是“百科全書”，能夠有問(wèn)必答，能夠適用不同的產(chǎn)業(yè)土壤，而垂直模型類似于單領(lǐng)域的專家，雖然專業(yè)，但受眾注定是少數(shù)人。

從演進(jìn)路徑上看，垂類模型是在通用大模型基礎(chǔ)上訓(xùn)練而來(lái)，如果撇開(kāi)通用大模型，垂類大模型不復(fù)存在。垂類模型強(qiáng)調(diào)領(lǐng)域的Know-How，對(duì)于特定領(lǐng)域來(lái)說(shuō)，需要針對(duì)該領(lǐng)域的任務(wù)做指令學(xué)習(xí)。行業(yè)不同，場(chǎng)景不同，指令學(xué)習(xí)的區(qū)別也極大。比如，泛互聯(lián)網(wǎng)行業(yè)更關(guān)注營(yíng)銷、推薦的效果，金融更領(lǐng)域更關(guān)注風(fēng)控、可信、以及營(yíng)銷的效果。

兩者的最大區(qū)別在于，垂類大模型在資源投入、成本投入等方面的要求下降了，但額外要求是行業(yè)Known-How，即對(duì)這個(gè)行業(yè)的知識(shí)要求提高了。

而從成本方面考量，通過(guò)通用大模型微調(diào)實(shí)現(xiàn)的垂類大模型相較通用大模型是“幾何級(jí)別的下降”。根據(jù)國(guó)金證券的測(cè)算，在模型微調(diào)階段，由于訓(xùn)練量級(jí)較小，僅為萬(wàn)級(jí)，相關(guān)的算力成本相比之下可忽略不計(jì)。

以斯坦福大學(xué)于2023年3月發(fā)布Alpaca為例，這是一個(gè)基于LLaMA-7B基座，應(yīng)用5.2萬(wàn)指令對(duì)模型微調(diào)訓(xùn)練而來(lái)的對(duì)話類語(yǔ)言模型。該模型基于8塊A100微調(diào)，微調(diào)時(shí)長(zhǎng)3小時(shí)，算力成本不超過(guò)300元。

由于垂直應(yīng)用大模型更符合垂類場(chǎng)景的需求、質(zhì)量比通用大模型更高，也讓眾多企業(yè)看到了其中的機(jī)會(huì)。

醫(yī)聯(lián)近日發(fā)布了自主研發(fā)的基于Transformer架構(gòu)的國(guó)內(nèi)首款醫(yī)療大語(yǔ)言模型——MedGPT，其主要致力在真實(shí)醫(yī)療場(chǎng)景中發(fā)揮實(shí)際診療價(jià)值，可實(shí)現(xiàn)從疾病預(yù)防、診斷、治療、康復(fù)的全流程智能化診療能力。

5月，微盟正式發(fā)布基于大模型的AI應(yīng)用型產(chǎn)品WAI，該產(chǎn)品已正式上線包括話術(shù)生產(chǎn)、短信模板、商品描述、種草筆記、直播口播稿、公眾號(hào)推文、短視頻帶貨文案等25個(gè)實(shí)際應(yīng)用場(chǎng)景。

作為聚焦物聯(lián)網(wǎng)與醫(yī)療兩大領(lǐng)域的人工智能企業(yè)，云知聲正式發(fā)布山海大模型。該大模型針對(duì)知識(shí)密度高的領(lǐng)域，通過(guò)數(shù)據(jù)訓(xùn)練、訓(xùn)練數(shù)據(jù)、微調(diào)等方式，做一些專業(yè)的加強(qiáng)，這樣模型既具備了通用應(yīng)用水平，也針對(duì)特殊場(chǎng)景與領(lǐng)域進(jìn)行了能力的加強(qiáng)。

山海大模型不僅在中文環(huán)境下的表現(xiàn)要好于GPT-4，甚至在醫(yī)療等個(gè)別場(chǎng)景下的表現(xiàn)效果，也已經(jīng)開(kāi)始優(yōu)于GPT-4。目標(biāo)是在今年內(nèi)達(dá)到ChatGPT的通用能力水平，并在醫(yī)療、物聯(lián)、教育等多個(gè)垂直領(lǐng)域的能力上全面超越GPT-4。

云知聲創(chuàng)始人、CEO黃偉指出，在AI 1.0時(shí)代，雖然基于深度學(xué)習(xí)，每家都有強(qiáng)大的技術(shù)，但整體上并沒(méi)有本質(zhì)改變AI用于分類的任務(wù)，分類種類的增加仍然處在量變階段，限制了AI創(chuàng)造價(jià)值的上限。

而在大模型引領(lǐng)的AI 2.0時(shí)代，為人工智能帶來(lái)了新的能力，可以打造更多新的產(chǎn)品，滿足客戶更多的需求，例如醫(yī)療、營(yíng)銷、溝通等，能夠創(chuàng)造更多的商業(yè)機(jī)會(huì)。

AI對(duì)于復(fù)雜邏輯理解能力大幅增強(qiáng)，扭轉(zhuǎn)了用戶對(duì)于AI“人工智障”的刻板印象，也讓更多人接受人工智能，為大模型的廣泛應(yīng)用創(chuàng)造的條件。

“大模型所謂的‘思維鏈’能力，可以告訴用戶推導(dǎo)的過(guò)程，從而知道中間過(guò)程里有哪些東西是錯(cuò)的，優(yōu)化的時(shí)候就可以獲得提示了，而不是像過(guò)去一樣只能看見(jiàn)和調(diào)整參數(shù)的權(quán)重?！?/p>

云知聲創(chuàng)始人兼CTO梁家恩表示，但就目前而言，大模型仍然是有限的東西，但對(duì)于沒(méi)有見(jiàn)過(guò)的東西，大模型會(huì)生成“似是而非”的回答，而隨著AI生成能力的不斷增強(qiáng)，但校驗(yàn)會(huì)更加困難，這也讓AI行業(yè)需要不斷去探索新的解決方法。

相信隨著越來(lái)越多企業(yè)入局，垂直大模型在各個(gè)行業(yè)和細(xì)分領(lǐng)域中將大量涌現(xiàn)。而那些能將一個(gè)垂直領(lǐng)域做專、做透，用高質(zhì)量的數(shù)據(jù)持續(xù)優(yōu)化模型，跑通商業(yè)閉環(huán)，構(gòu)建起產(chǎn)業(yè)生態(tài)的企業(yè)，最終將把價(jià)值鏈做到足夠長(zhǎng)。

來(lái)源：科技云報(bào)道

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。