11月15日消息，近日，創(chuàng)新工場(chǎng)董事長(zhǎng)兼 CEO 李開復(fù)創(chuàng)辦的AI大模型創(chuàng)業(yè)公司“零一萬物”推出 Yi-34B 和 Yi-6B 兩大開源大模型。
然而在 Yi-34B 的 Hugging Face 開源主頁(yè)上，有開發(fā)者質(zhì)疑該模型使用了 Meta LLaMA 的架構(gòu)，只對(duì)兩個(gè)張量（Tensor）名稱進(jìn)行了修改等等。
對(duì)此，零一萬物正式公開了對(duì) Yi-34B 訓(xùn)練過程的說明。李開復(fù)也轉(zhuǎn)發(fā)了該說明，并表示：“零一萬物 Yi-34B 模型訓(xùn)練的說明也回應(yīng)這兩天大家對(duì)于模型架構(gòu)的探討。全球大模型架構(gòu)一路從 GPT2 --> Gopher --> Chinchilla --> Llama2-> Yi，行業(yè)逐漸形成大模型的通用標(biāo)準(zhǔn) (就像做一個(gè)手機(jī)app開發(fā)者不會(huì)去自創(chuàng) iOS、Android 以外的全新基礎(chǔ)架構(gòu))。01.AI 起步受益于開源，也貢獻(xiàn)開源，從社區(qū)中虛心學(xué)習(xí)，我們會(huì)持續(xù)進(jìn)步”。
以下為：零一萬物對(duì) Yi-34B 訓(xùn)練過程的說明
就零一萬物的觀察和分析，大模型社區(qū)在技術(shù)架構(gòu)方面現(xiàn)在是一個(gè)處于接近往通用化逐步收攏的階段，基本上國(guó)際主流大模型都是基于Transformer的架構(gòu)，做attention，activation，normalization，positional embedding等部分的改動(dòng)，LLaMA、Chinchilla、Gopher 等模型的架構(gòu)和 GPT 架構(gòu)大同小異，全球開源社區(qū)基于主流架構(gòu)的模型變化非常之多，生態(tài)呈現(xiàn)欣欣向榮，國(guó)內(nèi)已發(fā)布的開源模型也絕大多數(shù)采用漸成行業(yè)標(biāo)準(zhǔn)的 GPT/LLaMA 的架構(gòu)。然而，大模型持續(xù)發(fā)展與尋求突破口的核心點(diǎn)不僅在于架構(gòu)，而是在于訓(xùn)練得到的參數(shù)。
模型訓(xùn)練過程好比做一道菜，架構(gòu)只是決定了做菜的原材料和大致步驟，這在大多數(shù)人的認(rèn)知中也逐步形成共識(shí)。要訓(xùn)練出好的模型，還需要更好的“原材料”（數(shù)據(jù)）和對(duì)每一個(gè)步驟細(xì)節(jié)的把控（訓(xùn)練方法和具體參數(shù)）。由于大模型技術(shù)發(fā)展還在非常初期，從技術(shù)觀點(diǎn)來說，行業(yè)共識(shí)是與主流模型保持一致的模型結(jié)構(gòu)，更有利于整體的適配與未來的迭代。
零一萬物在訓(xùn)練模型過程中，沿用了GPT/LLaMA的基本架構(gòu)，由于LLaMA社區(qū)的開源貢獻(xiàn)，讓零一萬物可以快速起步。零一萬物從零開始訓(xùn)練了 Yi-34B 和 Yi-6B 模型，并根據(jù)實(shí)際的訓(xùn)練框架重新實(shí)現(xiàn)了訓(xùn)練代碼，用自建的數(shù)據(jù)管線構(gòu)建了高質(zhì)量配比的訓(xùn)練數(shù)據(jù)集（從3PB原始數(shù)據(jù)精選到3T token高質(zhì)量數(shù)據(jù)）。除此以外，在 Infra 部分進(jìn)行算法、硬件、軟件聯(lián)合端到端優(yōu)化，實(shí)現(xiàn)訓(xùn)練效率倍級(jí)提升和極強(qiáng)的容錯(cuò)能力等原創(chuàng)性突破。這些科學(xué)訓(xùn)模的系統(tǒng)性工作，往往比起基本模型結(jié)構(gòu)能起到巨大的作用跟價(jià)值。
零一萬物團(tuán)隊(duì)在訓(xùn)練前的實(shí)驗(yàn)中，嘗試了不同的數(shù)據(jù)配比科學(xué)地選取了最優(yōu)的數(shù)據(jù)配比方案，投注大部分精力調(diào)整訓(xùn)練方法、數(shù)據(jù)配比、數(shù)據(jù)工程、細(xì)節(jié)參數(shù)、baby sitting（訓(xùn)練過程監(jiān)測(cè)）技巧等。這一系列超越模型架構(gòu)之外，研究與工程并進(jìn)且具有前沿突破性的研發(fā)任務(wù)，才是真正屬于模型訓(xùn)練內(nèi)核最為關(guān)鍵、能夠形成大模型技術(shù)護(hù)城河 know-how積累。在模型訓(xùn)練同時(shí)，零一萬物也針對(duì)模型結(jié)構(gòu)中的若干關(guān)鍵節(jié)點(diǎn)進(jìn)行了大量的實(shí)驗(yàn)和對(duì)比驗(yàn)證。舉例來說，我們實(shí)驗(yàn)了Group Query Attention（GQA）、Multi-Head Attention（MHA）、Vanilla Attention 并選擇了GQA，實(shí)驗(yàn)了Pre-Norm和Post-Norm在不同網(wǎng)絡(luò)寬度和深度上的變化，并選擇了Pre-Norm，使用了 RoPE ABF作為positional embedding等。也正是在這些實(shí)驗(yàn)與探索過程中，為了執(zhí)行對(duì)比實(shí)驗(yàn)的需要，模型對(duì)部分推理參數(shù)進(jìn)行了重新命名。
在零一萬物初次開源過程中，我們發(fā)現(xiàn)用和開源社區(qū)普遍使用的LLaMA 架構(gòu)會(huì)對(duì)開發(fā)者更為友好，對(duì)于沿用LLaMA部分推理代碼經(jīng)實(shí)驗(yàn)更名后的疏忽，原始出發(fā)點(diǎn)是為了充分測(cè)試模型，并非刻意隱瞞來源。零一萬物對(duì)此提出說明，并表達(dá)誠(chéng)摯的歉意，我們正在各開源平臺(tái)重新提交模型及代碼并補(bǔ)充LLaMA 協(xié)議副本的流程中，承諾盡速完成各開源社區(qū)的版本更新。
我們非常感謝社區(qū)的反饋，零一萬物在開源社區(qū)剛剛起步，希望和大家攜手共創(chuàng)社區(qū)繁榮，在近期發(fā)布Chat Model之后，我們將擇期發(fā)布技術(shù)報(bào)告，Yi Open-source會(huì)盡最大努力虛心學(xué)習(xí)，持續(xù)進(jìn)步。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
