虎博科技發(fā)布大模型Tigerbot 開源1日Star已過1000

Tigerbot是虎博科技自研的多語言多任務大規(guī)模語言模型，已于6月7日發(fā)布并開源。上線僅一日，Tigerbot已在開源社區(qū)GitHub上獲超1000 Stars，深受廣大開發(fā)者喜愛。

(截至6月8日，開源社區(qū)github上Tigerbot的相關情況)

此次開源涉及模型、代碼、數據三部分內容，包含 TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research 等多個模型版本;基本訓練且覆蓋雙卡推理 180B 模型的量化和推理代碼;以及達 100G 的預訓練數據、監(jiān)督微調 1G/100 萬條數據。

值得一提的是，開源版本中，TigerBot-7B-base的綜合表現優(yōu)于同等可比的OpenAI和BLOOM，TigerBot-180B-research 的參數量達1800億，或是目前業(yè)內最大的大規(guī)模語言模型，而高達100G的預訓練數據，更被視為目前業(yè)內最大且質量最優(yōu)的開源預訓練數據之一。

同時，虎博科技還與廣大開發(fā)者共享了大模型應用開發(fā)所需的全套API，包括對話(Chat)、插件(Plug-ins)、微調(Fine-Tunes)等，并提供金融、法律、百科等專業(yè)領域數據，旨在構建構建大模型生態(tài)藍圖。

據了解，Tigerbot基于 GPT 和 BLOOM 兩個開源模型基礎上進行研發(fā)，在模型架構、算法以及計算經濟性等方面做了一系列優(yōu)化，主要體現在四方面：

(1)、指令完成監(jiān)督微調的創(chuàng)新算法，以提升可學習型(learnability);

(2)、運用ensemble 和 probabilistic modeling 的方法，實現更可控的事實性(factuality)和創(chuàng)造性(generativeness)，進一步 避免模型可能產生的“胡說八道”;

(3)、在并?訓練上，突破了 deep-speed 等主流框架中若?內存和通信問題，使得在千卡環(huán)境下數??間斷，不僅大大縮短了模型訓練的時間，每月還能節(jié)省數十萬訓練費用;

(4)、對中?語?的更不規(guī)則的分布，從 tokenizer 到訓練算法等方面做了針對性算法優(yōu)化，使得模型的問答更具中國文化屬性。

然而，這些創(chuàng)新僅僅是個10人小團隊在3個月內完成的。據虎博科技創(chuàng)始人兼CEO陳燁介紹，他自己也在一線寫代碼。過去三個月中，團隊累計完成超3000次實驗，“每天至少有3次實驗，第一個月的模型表現已經可以達到OpenAI可比模型的八成。”根據 OpenAI InstructGPT 論文在公開 NLP 數據集上的自動評測，TigerBot-7B就已達到 OpenAI 同樣大小模型的綜合表現的 96%，且只是 MVP(最小最小可行性模型)。

秉持科學無國界無階層的理念，陳燁希望共享階段性成果，“大模型技術就像是一門新興學科，將是顛覆式且長周期的，其未來的可能性將超過每個人的想象。”

對于開源，他給出了兩點理由：

第一、作為一名AI領域內的技術人員，出于對技術最本能的信仰，他有一點熱血、有一點煽情，“我們想要以世界級的大模型，貢獻于中國創(chuàng)新。給行業(yè)一個可用的、底層基礎扎實的通用模型，能讓更多人快速訓練出專業(yè)大模型，實現產業(yè)集群的生態(tài)打造?！?/p>

第二、TigerBot會繼續(xù)保持高速迭代，并在目前賽跑的局面下，仍能保持身位優(yōu)勢。即便是看到有人以TigerBot為底層開發(fā)出了性能更好的產品，這對于行業(yè)內來說又何嘗不是一件好事?

陳燁認為，現階段不宜過早和過于理性地探討產品、應用、場景和商業(yè)化，更重要的是推廣這一人工智能基礎設施的原創(chuàng)突破，促進技術的發(fā)展和更新，“開源就是最好的方式”。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。