摘要：經(jīng)過3個(gè)月的“隱蔽模式”研發(fā)，虎博科技很自豪的發(fā)布并開源自研的大模型TigerBot，在經(jīng)典公開NLP語(yǔ)料測(cè)試中，表現(xiàn)逼近OpenAI同等大小模型的96%，并在推理式問答等個(gè)別領(lǐng)域超越。這只是第一版MVP。
引言：2022年年底，ChatGPT的發(fā)布震撼了整個(gè)人工智能領(lǐng)域。這種震撼在虎博公司創(chuàng)始人陳燁心中，也是他在人工智能領(lǐng)域從業(yè)20年以來(lái)從未有過的。“此等一生難遇一次的大機(jī)遇，是吾輩之幸事!”
認(rèn)知：與其說認(rèn)知，陳燁更相信內(nèi)心深處的那種年少時(shí)的沖動(dòng);他認(rèn)為，推進(jìn)人類文明的技術(shù)變革往往源于本能，直覺和偶然性，基于自由的創(chuàng)新精神。這次大模型的突破，將會(huì)是顛覆式的長(zhǎng)周期的;過早和過于理性的探討產(chǎn)品、應(yīng)用、場(chǎng)景和商業(yè)化或許是沒有必要的。大模型技術(shù)正如一門新興學(xué)科，未來(lái)的可能性超過我們每個(gè)人的想象，我們正處在洶涌創(chuàng)新的初期。而這種原創(chuàng)的突破，正是令陳燁和團(tuán)隊(duì)最興奮的。
技術(shù)路徑：TigerBot 是一個(gè)多語(yǔ)言多任務(wù)的大規(guī)模語(yǔ)言模型(LLM)。根據(jù) OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動(dòng)評(píng)測(cè)，TigerBot-7B 達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%，并且這只是我們的 MVP。我們?cè)?GPT和BLOOM 基礎(chǔ)上，在模型架構(gòu)和算法上做了如下優(yōu)化：
1. 指令完成監(jiān)督微調(diào)的創(chuàng)新算法以獲得更好的可學(xué)習(xí)型(learnability);
2. 運(yùn)用 ensemble 和 probabilistic modeling 的方法實(shí)現(xiàn)更可控的事實(shí)性(factuality)和創(chuàng)造性(generativeness);
3. 在并行訓(xùn)練上，我們突破了 deep-speed 等主流框架中若干內(nèi)存和通信問題，使得在千卡環(huán)境下數(shù)月無(wú)間斷;
4. 對(duì)中文語(yǔ)言的更不規(guī)則的分布，從 tokenizer 到訓(xùn)練算法上做了更適合的算法優(yōu)化。
執(zhí)行：虎博團(tuán)隊(duì)在大模型研發(fā)上致敬了硅谷90年代經(jīng)典的“車庫(kù)創(chuàng)業(yè)”模式，團(tuán)隊(duì)開始只有5個(gè)人，coding & coke, day & night;而創(chuàng)始人本人正是 chief coder & chief scientist。我們擁抱開源，在公開文獻(xiàn)和全世界最優(yōu)秀的開源模型和代碼基礎(chǔ)上，用一個(gè)月時(shí)間實(shí)現(xiàn)了自研的全棧代碼，當(dāng)時(shí)模型表現(xiàn)達(dá)到OpenAI可比模型的八成。這給了陳燁和團(tuán)隊(duì)很大的信心，并開始在事實(shí)性、創(chuàng)造性和思維鏈這些底層研究上不斷突破，形成了算法，工程，數(shù)據(jù)的高效率迭代節(jié)奏;粗略統(tǒng)計(jì)，陳燁帶領(lǐng)團(tuán)隊(duì)在過去3個(gè)月時(shí)間內(nèi)實(shí)驗(yàn)次數(shù)超過3000次，也就是每天至少三次實(shí)驗(yàn)。據(jù)悉，虎博內(nèi)部已經(jīng)迭代出同等大小表現(xiàn)優(yōu)于OpenAI的模型。
開源：我們擁抱開源，因?yàn)橄嘈趴茖W(xué)創(chuàng)新無(wú)國(guó)界無(wú)階層。雖然這次發(fā)布產(chǎn)品依然只是我們的MVP，我們很自豪將我們階段性成果開源給大模型社區(qū)：
1. 模型：TigerBot-7B-sft, TigerBot-7B-base (表現(xiàn)優(yōu)于同等可比的OpenAI和BLOOM)，TigerBot-180B-research (或是迄今最大的Chat LLM);
2. 代碼：基本訓(xùn)練和推理代碼，包括雙卡推理 180B 模型的量化和推理代碼;
3. 數(shù)據(jù)：預(yù)訓(xùn)練 100G(或是業(yè)內(nèi)最大質(zhì)量最優(yōu)之一的開源預(yù)訓(xùn)練數(shù)據(jù))， 監(jiān)督微調(diào) 1G 或 100 萬(wàn)條數(shù)據(jù)。
想要使用Tigerbot開源模型的開發(fā)者可以登錄https://github.com/TigerResearch/TigerBot
生態(tài)：陳燁認(rèn)為大模型是人工智能時(shí)代的基礎(chǔ)設(shè)施，而生態(tài)的發(fā)展能反哺大模型的能力。因此，虎博也發(fā)布開源大模型應(yīng)用開發(fā)的全套API ：
1. (chat, plugin, finetune) API’s, 讓用戶能在半小時(shí)內(nèi)無(wú)代碼的訓(xùn)練和使用專屬于自己的大模型和數(shù)據(jù);
2. 領(lǐng)域數(shù)據(jù)：涵蓋金融，法律，百科，廣邀大模型應(yīng)用開發(fā)者，一起打造中國(guó)的世界級(jí)的應(yīng)用。
產(chǎn)品體驗(yàn)地址：https://www.tigerbot.com/chat ，登錄即可申請(qǐng)邀請(qǐng)碼 ，感受逼近OpenAI表現(xiàn)的國(guó)產(chǎn)大模型。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
