傅盛:獵戶星空大模型 在百億參數(shù)榜單完勝

近日,獵戶星空發(fā)布其自主研發(fā)的百億級(jí)參數(shù)大模型——Orion-14B。這款集高效能與高性價(jià)比于一身的AI模型,在專業(yè)場(chǎng)景的多項(xiàng)關(guān)鍵性能指標(biāo)上可以比肩GPT-4,并可實(shí)現(xiàn)千元級(jí)消費(fèi)顯卡運(yùn)行。

在詳盡的測(cè)試評(píng)估中,Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等多個(gè)主流測(cè)試集中均榮膺最優(yōu)(SOTA)成績(jī)。尤其值得關(guān)注的是,在OpenCompass針對(duì)中文數(shù)據(jù)集的綜合測(cè)評(píng)中,該模型在700億參數(shù)以下基座模型中位列榜首,展現(xiàn)了強(qiáng)大的本土化適應(yīng)能力和全面的語(yǔ)言處理技術(shù)。

不僅如此,Orion-14B還展現(xiàn)出卓越的多語(yǔ)言處理實(shí)力,在日語(yǔ)和韓語(yǔ)開源模型評(píng)測(cè)中榮獲全球第一,被贊譽(yù)為“出海之光”。在業(yè)界權(quán)威的大模型長(zhǎng)文本準(zhǔn)確度測(cè)試“大海撈針”中,Orion-14B更是交出了200K token全綠的成績(jī)單,同時(shí)支持最高320K token的超長(zhǎng)上下文處理,相當(dāng)于一次性看完小半本《三體》(45萬(wàn)漢字)這樣的復(fù)雜文本內(nèi)容。

獵戶星空強(qiáng)調(diào),Orion-14B的所有成就均基于真實(shí)訓(xùn)練與嚴(yán)格測(cè)試,堅(jiān)決杜絕了直接使用基準(zhǔn)測(cè)試題庫(kù)進(jìn)行針對(duì)性訓(xùn)練的現(xiàn)象。目前,Orion-14B已全面實(shí)現(xiàn)開源,用戶可立即在線體驗(yàn)其卓越性能。

據(jù)了解,能滿足專業(yè)場(chǎng)景及企業(yè)應(yīng)用需求,主要得益于獵戶星空大模型通過深度微調(diào)策略構(gòu)建了一套完整的七大應(yīng)用方向解決方案,包括通用對(duì)話、插件優(yōu)化、RAG架構(gòu)微調(diào)、長(zhǎng)Token處理、知識(shí)抽取、問答生成以及日韓文定制化服務(wù)。此外,為迎合小企業(yè)市場(chǎng),獵戶星空還推出了近乎無損的INT4量化版本,借助AWQ Q4量化技術(shù),不僅將模型大小壓縮了70%,推理速度更提升高達(dá)30%。

這意味著,即便是采用NVIDIA RTX 3060這樣的消費(fèi)級(jí)顯卡,也能實(shí)現(xiàn)每秒約50個(gè)漢字的高速輸出。而在私有化部署方案上,獵戶星空提供了易于控制服務(wù)器與內(nèi)網(wǎng)數(shù)據(jù)的安全方案,同時(shí)還開放全套開源免費(fèi)可商用資源和社區(qū)技術(shù)支持。

最后,獵豹移動(dòng)董事長(zhǎng)兼CEO、獵戶星空董事長(zhǎng)傅盛對(duì)未來趨勢(shì)做出大膽預(yù)測(cè),至2024年,千億級(jí)別大模型的競(jìng)爭(zhēng)格局將會(huì)發(fā)生深刻變化,部分模型可能因應(yīng)用落地難題而逐漸衰退;相反,像Orion-14B這類具有極高性價(jià)比優(yōu)勢(shì)的百億大模型,將在百花齊放中綻放異彩。他認(rèn)為,超越OpenAI等國(guó)際巨頭的機(jī)會(huì),正掌握在那些專注于大模型應(yīng)用開發(fā)和商業(yè)化的公司手中,讓我們拭目以待。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )