百川智能2代開源大模型亮相,王小川:文理兼?zhèn)?,已超越LLaMA 2

9月7日消息,從去年12月ChatGPT的浪潮席卷全球以來,幾乎所有的科技企業(yè)都想抓住這個(gè)機(jī)會(huì)。經(jīng)過大半年的沸騰后,大模型行業(yè)出現(xiàn)了一股新的浪潮:從閉源到開源。

LLaMA2發(fā)布于今年7月19日,由美國(guó)互聯(lián)網(wǎng)大廠Meta推出,當(dāng)時(shí)在全球引起轟動(dòng),外界評(píng)價(jià)說,LLaMA2的開源將可能影響大模型最終格局。而在百川智能創(chuàng)始人兼CEO王小川看來,全新發(fā)布的Baichuan 2系列開源大模型,已經(jīng)全面超越了LLaMA2的性能。

北京時(shí)間9月6日,百川智能召開主題為“百川匯海,開源共贏”的大模型發(fā)布會(huì)。會(huì)上,百川智能宣布正式開源微調(diào)后的Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat與其4bit量化版本,并且均為免費(fèi)可商用。

同為大模型創(chuàng)業(yè)者的瀾舟科技創(chuàng)始人兼CEO周明現(xiàn)身百川智能發(fā)布會(huì),周明表示,國(guó)外開源模型更多是支持英文為主的西方語言,對(duì)中文的支持要么不足,要么不太友好。而Baichuan2兩款模型對(duì)中文用戶的支持非常友好,并且在性能方面都超越了英文同等尺寸模型,因此是對(duì)中國(guó)大模型領(lǐng)域研究和應(yīng)用的利好消息。

今年4月,王小川在離開搜狗一年半后創(chuàng)辦了百川智能,這個(gè)成立不到半年的公司對(duì)大模型產(chǎn)業(yè)發(fā)展會(huì)產(chǎn)生哪些影響,引起了各界不小的關(guān)注。

文理兼?zhèn)洌阅艹絃LaMA2

據(jù)了解,在新的模型上,百川智能的研究者們從數(shù)據(jù)獲取到微調(diào)進(jìn)行了很多優(yōu)化。

Baichuan2-7B-Base和Baichuan2-13B-Base,均基于2.6萬億高質(zhì)量多語言數(shù)據(jù)進(jìn)行訓(xùn)練,在保留了上一代開源模型的生成與創(chuàng)作能力,多輪對(duì)話能力以及部署門檻較低等眾多特性的基礎(chǔ)上,兩個(gè)模型在數(shù)學(xué)、代碼、安全、邏輯推理、語義理解等能力有顯著提升。其中Baichuan2-13B-Base相比上一代13B模型,數(shù)學(xué)能力提升49%,代碼能力提升46%,安全能力提升37%,邏輯推理能力提升25%,語義理解能力提升15%。

“我們借鑒了之前做搜索時(shí)的更多經(jīng)驗(yàn),對(duì)大量模型訓(xùn)練數(shù)據(jù)進(jìn)行了多粒度內(nèi)容質(zhì)量打分,使用了 2.6 億 T 的語料級(jí)來訓(xùn)練 7B 與 13B 的模型,并且加入了多語言的支持。”王小川表示,“我們?cè)谇Э?A800 集群里可以達(dá)到 180TFLOPS 的訓(xùn)練性能,機(jī)器利用率超過 50%。在此之外,我們也完成了很多安全對(duì)齊的工作?!?/p>

本次開源的兩個(gè)模型在各大評(píng)測(cè)榜單上的表現(xiàn)優(yōu)秀,在 MMLU、CMMLU、GSM8K 等幾大權(quán)威評(píng)估基準(zhǔn)中。以較大優(yōu)勢(shì)領(lǐng)先 LLaMA2,相比其他同等參數(shù)量大模型,表現(xiàn)也十分亮眼,性能大幅度優(yōu)于 LLaMA2 等同尺寸模型競(jìng)品。

更值得一提的是,根據(jù) MMLU 等多個(gè)權(quán)威英文評(píng)估基準(zhǔn)評(píng)分 Baichuan2-7B 以 70 億的參數(shù)在英文主流任務(wù)上與 130 億參數(shù)量的 LLaMA2 持平。

百川供圖

值得一提的是,根據(jù)MMLU等多個(gè)權(quán)威英文評(píng)估基準(zhǔn)評(píng)分Baichuan2-7B以70億的參數(shù)在英文主流任務(wù)上與130億參數(shù)量的LLaMA2持平。

7B參數(shù)模型的Benchmark成績(jī) 百川供圖

13B參數(shù)模型的Benchmark成績(jī) 百川供圖

Baichuan2-7B和Baichuan2-13B不僅對(duì)學(xué)術(shù)研究完全開放,開發(fā)者也僅需郵件申請(qǐng)獲得官方商用許可后,即可以免費(fèi)商用。

?全程開源模型訓(xùn)練Check Point,助力學(xué)術(shù)研究

大模型訓(xùn)練包含海量高質(zhì)量數(shù)據(jù)獲取、大規(guī)模訓(xùn)練集群穩(wěn)定訓(xùn)練、模型算法調(diào)優(yōu)等多個(gè)環(huán)節(jié)。每個(gè)環(huán)節(jié)都需要大量人才、算力等資源的投入,從零到一完整訓(xùn)練一個(gè)模型的高昂成本,阻礙了學(xué)術(shù)界對(duì)大模型訓(xùn)練的深入研究。

本著協(xié)作和持續(xù)改進(jìn)的精神,百川智能本次開源了模型訓(xùn)練從220B到2640B全過程的 Check Ponit。這對(duì)于科研機(jī)構(gòu)研究大模型訓(xùn)練過程、模型繼續(xù)訓(xùn)練和模型的價(jià)值觀對(duì)齊等極具價(jià)值,將極大推動(dòng)國(guó)內(nèi)大模型的科研進(jìn)展,開源訓(xùn)練模型過程對(duì)國(guó)內(nèi)開源生態(tài)尚屬首次。

百川供圖

值得一提的是,在大會(huì)現(xiàn)場(chǎng),中國(guó)科學(xué)院院士、清華大學(xué)人工智能研究院名譽(yù)院長(zhǎng)張鈸對(duì)大模型發(fā)展提出了自己的看法。張鈸認(rèn)為,雖然大模型行業(yè)取得了廣泛關(guān)注,但是“大模型產(chǎn)生”的現(xiàn)象仍然缺乏可解釋性。

到現(xiàn)在為止,全世界對(duì)大模型的理論工作原理、所產(chǎn)生的現(xiàn)象都是一頭霧水,所有的結(jié)論都推導(dǎo)產(chǎn)生了「涌現(xiàn)現(xiàn)象」,所謂「涌現(xiàn)」,就是給自己一個(gè)退路,解釋不清楚的情況下就說它是涌現(xiàn),實(shí)際上這反映了我們對(duì)它一點(diǎn)不清楚。

張鈸表示,對(duì)于模型的訓(xùn)練與推理的過程,仍然是人工智能學(xué)術(shù)領(lǐng)域需要不斷去探索的課題。到現(xiàn)在為止國(guó)內(nèi)的大模型主要集中在垂直領(lǐng)域的應(yīng)用上,因此,他很支持百川智能把這次的開源模型定位在助力學(xué)術(shù)研究上。

張鈸院士 百川供圖

技術(shù)報(bào)告揭示訓(xùn)練細(xì)節(jié),繁榮開源生態(tài)

當(dāng)前大部分開源模型在開源過程中只是對(duì)外公開自身的模型權(quán)重,很少提及訓(xùn)練細(xì)節(jié),企業(yè)、研究機(jī)構(gòu)、開發(fā)者們只能在開源模型的基礎(chǔ)上做有限的微調(diào),很難進(jìn)行深入研究。

百川智能在發(fā)布會(huì)上宣布,公開Baichuan 2的技術(shù)報(bào)告。技術(shù)報(bào)告將詳細(xì)介紹Baichuan 2 訓(xùn)練的全過程,包括數(shù)據(jù)處理、模型結(jié)構(gòu)優(yōu)化、Scaling law、過程指標(biāo)等。

王小川表示,“這對(duì)于大家理解預(yù)訓(xùn)練,或者進(jìn)行微調(diào)強(qiáng)化能夠帶來幫助。這也是在國(guó)內(nèi)首次有公司能開放這樣的訓(xùn)練過程?!?/p>

百川供圖

百川智能自成立之初,就將通過開源方式助力中國(guó)大模型生態(tài)繁榮作為公司的重要發(fā)展方向。成立不到四個(gè)月,便相繼發(fā)布了 Baichuan-7B、Baichuan-13B 兩款開源免費(fèi)可商用的中文大模型,以及一款搜索增強(qiáng)大模型 Baichuan-53B,兩款開源大模型在多個(gè)權(quán)威評(píng)測(cè)榜單均名列前茅,目前下載量超過 500 萬次。

不僅如此,在今年創(chuàng)立的大模型公司中,百川智能是唯一一家通過《生成式人工智能服務(wù)管理暫行辦法》備案,可以正式面向公眾提供服務(wù)的企業(yè)。憑借行業(yè)領(lǐng)先的基礎(chǔ)大模型研發(fā)和創(chuàng)新能力,此次開源的兩款Baichuan 2大模型,得到了上下游企業(yè)的積極響應(yīng),騰訊云、阿里云、火山方舟、華為、聯(lián)發(fā)科等眾多企業(yè)均參加了本次發(fā)布會(huì)并與百川智能達(dá)成了合作。

未來,百川智能將在開源大模型領(lǐng)域持續(xù)深耕,將更多的技術(shù)能力、前沿創(chuàng)新開放出來,與更多的合作伙伴們共同助力中國(guó)大模型生態(tài)發(fā)展。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2023-09-07
百川智能2代開源大模型亮相,王小川:文理兼?zhèn)?,已超越LLaMA 2
這個(gè)成立不到半年的公司對(duì)大模型產(chǎn)業(yè)發(fā)展會(huì)產(chǎn)生哪些影響,引起了各界不小的關(guān)注。

長(zhǎng)按掃碼 閱讀全文