零一萬(wàn)物最新發(fā)聲：不涉及套殼、抄襲，權(quán)威榜單排名直追GPT-4

撰文 | 李信馬

編輯 | 楊博丞

題圖 | IC Photo

時(shí)隔近一個(gè)月之后，零一萬(wàn)物再次發(fā)聲。

此前，由李開(kāi)復(fù)創(chuàng)辦的AI獨(dú)角獸零一萬(wàn)物，在11月6日正式發(fā)布了首款開(kāi)源中英雙語(yǔ)大模型——Yi。

不過(guò)在原阿里技術(shù)副總裁、深度學(xué)習(xí)框架Caffe發(fā)明者賈揚(yáng)清暗指某國(guó)內(nèi)大廠新模型套殼LLaMA架構(gòu)后，零一萬(wàn)物受到波及，陷入了“套殼”風(fēng)波。LLaMA是Meta創(chuàng)建的大語(yǔ)言模型，在今年7月發(fā)布并完全開(kāi)源。曾有開(kāi)發(fā)者表示，除了兩個(gè)張量被重命名外，Yi完全使用了LLaMA的架構(gòu) 。

面對(duì)質(zhì)疑，在11月15日，零一萬(wàn)物官微發(fā)布了《零一萬(wàn)物對(duì) Yi-34B 訓(xùn)練過(guò)程的說(shuō)明》，其中提到“大模型持續(xù)發(fā)展與尋求突破口的核心點(diǎn)不僅在于架構(gòu)，而是在于訓(xùn)練得到的參數(shù)”。零一萬(wàn)物在訓(xùn)練模型過(guò)程中，沿用了GPT/LLaMA的基本架構(gòu)，得以快速起步，對(duì)開(kāi)發(fā)者也更友好。Yi-34B和Yi-6B模型則是零一萬(wàn)物從0開(kāi)始訓(xùn)練的，并做了大量原創(chuàng)性的優(yōu)化和突破工作。

至于沿用LLaMA部分推理代碼經(jīng)實(shí)驗(yàn)更名后的疏忽，原始出發(fā)點(diǎn)是為了充分測(cè)試模型，執(zhí)行對(duì)比實(shí)驗(yàn)，對(duì)部分推理參數(shù)進(jìn)行了重新命名，并非為了刻意隱瞞。

圖片來(lái)源：零一萬(wàn)物

今日，零一萬(wàn)物對(duì)表示，公司內(nèi)部經(jīng)過(guò)幾個(gè)周的國(guó)際國(guó)內(nèi)法律研判，已經(jīng)確認(rèn)完全不涉及套殼、抄襲，并給出了進(jìn)一步的澄清。

Eric Hartford就是本次風(fēng)波的起點(diǎn)之一，在Yi-34B開(kāi)源發(fā)布后，他向官方發(fā)出郵件：“感謝你們提供了一個(gè)優(yōu)秀的模型。Yi模型使用了與LLaMA模型完全相同的架構(gòu)，只是將兩個(gè)張量改了名字。由于圍繞LLaMA架構(gòu)有很多投資和工具，保持張量名稱的一致性是有價(jià)值的?！?/p>

之后，零一萬(wàn)物接受了Eric建議，很快在各開(kāi)源平臺(tái)重新提交模型及代碼，完成了開(kāi)源社區(qū)的版本更新。雖然依舊在國(guó)內(nèi)引起了風(fēng)波，但Eric卻自發(fā)且不遺余力為Yi辯護(hù)，并在X（twitter）上寫道：“他們沒(méi)有在任何事情上撒謊。所有的模型都是在相互借鑒架構(gòu)。架構(gòu)是學(xué)術(shù)研究的產(chǎn)物，已經(jīng)發(fā)表在論文中，任何人都可以自由使用，這絲毫不減損Yi團(tuán)隊(duì)的成就。他們從零開(kāi)始使用自己創(chuàng)建的數(shù)據(jù)集訓(xùn)練Yi，對(duì)開(kāi)源領(lǐng)域的貢獻(xiàn)是值得贊揚(yáng)的。”

圖片來(lái)源：X

值得一提的是，選擇在一個(gè)月后再次發(fā)聲，還有一個(gè)原因是，近期零一萬(wàn)物在多個(gè)榜單上憑實(shí)力 “揚(yáng)眉吐氣”。

11月24日，Yi-34B-Chat微調(diào)模型開(kāi)源上線，在斯坦福大學(xué)研發(fā)的大語(yǔ)言模型評(píng)測(cè) AlpacaEval Leaderboard 中，Yi-34B-Chat以94.08%的勝率，超越LLaMA2 Chat 70B、Claude 2、ChatGPT，成為經(jīng)由Alpaca官方認(rèn)證的，全球僅次GPT-4英語(yǔ)能力的大語(yǔ)言模型。

AlpacaEval Leaderboard排行榜（發(fā)布于2023年12月7日）

圖片來(lái)源：零一萬(wàn)物

在加州大學(xué)伯克利分校主導(dǎo)的LMSYS ORG排行榜中，Yi-34B-Chat也以1102的Elo評(píng)分，晉升最新開(kāi)源SOTA開(kāi)源模型之列，性能表現(xiàn)追平GPT-3.5。而且，伯克利LMSYS ORG排行榜采用的是接近用戶體感的“聊天機(jī)器人競(jìng)技場(chǎng)”特殊測(cè)評(píng)模式，讓眾多大語(yǔ)言模型在評(píng)測(cè)平臺(tái)隨機(jī)進(jìn)行比試，通過(guò)眾籌真實(shí)用戶來(lái)進(jìn)行線上實(shí)時(shí)盲測(cè)和匿名投票。LMSYS ORG 在12月8日官宣11月份總排行時(shí)評(píng)價(jià)：“Yi-34B-Chat 和 Tulu-2-DPO-70B 在開(kāi)源界的進(jìn)擊表現(xiàn)已經(jīng)追平 GPT-3.5”。

LMSYS ORG榜單（發(fā)布于2023年12月8日）

圖片來(lái)源：零一萬(wàn)物

在中文能力方面，11月底發(fā)布的《SuperCLUE中文大模型基準(zhǔn)評(píng)測(cè)報(bào)告 2023》中 ，Yi-34B Chat迅速晉升到“卓越領(lǐng)導(dǎo)者”象限，在“SuperCLUE 大模型對(duì)戰(zhàn)勝率” 這項(xiàng)關(guān)鍵指標(biāo)上，Yi-34B-Chat 取得31.82%的勝率，僅次于GPT4-Turbo。

中文SuperCLUE排行榜（發(fā)布于2023年11月28日）

圖片來(lái)源：零一萬(wàn)物

目前，Yi模型在Hugging Face社區(qū)下載量為16.8萬(wàn)，魔搭社區(qū)下載量1.2萬(wàn)。在GitHub 獲得超過(guò)4900個(gè)Stars。多家知名公司和機(jī)構(gòu)也推出了基于Yi模型基座的微調(diào)模型，比如獵豹旗下的獵戶星空公司推出的OrionStar-Yi-34B-Chat模型，南方科技大學(xué)和粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院認(rèn)知計(jì)算與自然語(yǔ)言研究中心聯(lián)合發(fā)布的SUS-Chat-34B等，AMD和Hugging Face合作的GPU加速大模型的實(shí)驗(yàn)中，也選擇了Yi-6B作為范例項(xiàng)目。

知名技術(shù)寫作者蘇洋表示，在他觀察的近期Hugging Face榜單中，前三十名有一半多都是 Yi 和其他用戶微調(diào)的 Yi-34B 的變體模型，原本占據(jù)榜單頭部的68B和70B模型的數(shù)量目前只留有幾個(gè)，“從這點(diǎn)看 Yi 對(duì)于開(kāi)源生態(tài)的幫助還是非常巨大的?！?/p>

隨著新成就的不斷取得，和更多開(kāi)發(fā)者與權(quán)威機(jī)構(gòu)的認(rèn)可，外界對(duì)零一萬(wàn)物的質(zhì)疑，想必也會(huì)逐漸平息。除了表現(xiàn)出的硬實(shí)力外，也期待，零一萬(wàn)物能在應(yīng)用落地方面，創(chuàng)造出更多的價(jià)值。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。