ChatGPT 到底有多火?它已成為史上最快傳播的應(yīng)用，發(fā)布兩個月后就有了 1 億用戶。實現(xiàn)同樣的用戶量，TikTok 需要近九個月，而 Instagram 用了兩年多。
未來幾年，微軟將繼續(xù)增加投資 ChatGPT 背后的公司 OpenAI 100 億美金，而 Google 也于近日投資了另外一個同類公司 Anthropic 將近 4 億美金，在硅谷科技圈和資本市場成為了 2023 年最令人興奮的科技進(jìn)展。微軟聯(lián)合創(chuàng)始人比爾蓋茨判斷，ChatGPT 的歷史意義重大，不亞于 PC 或互聯(lián)網(wǎng)誕生。
國內(nèi)在這次 AI 變革的浪潮中同樣反應(yīng)熱烈，其中就有國內(nèi)通用人工智能初創(chuàng)公司元語智能，推出國內(nèi)首個基于大模型的功能型對話產(chǎn)品 ChatYuan。
可登錄 www.clueai.cn/chat 網(wǎng)頁版體驗
或搜索【元語智能】小程序體驗
PromptCLUE 全中文任務(wù)零樣本學(xué)習(xí)模型
在正式介紹元語智能的功能型對話大模型ChatYuan 之前，我們先了解一下大規(guī)模多任務(wù) Prompt 預(yù)訓(xùn)練中文開源模型——PromptCLUE，它實現(xiàn)了中文上的三大統(tǒng)一：統(tǒng)一模型框架、統(tǒng)一任務(wù)形式和統(tǒng)一應(yīng)用方式。
PromptCLUE 在千億中文 token 上大規(guī)模預(yù)訓(xùn)練，累計學(xué)習(xí) 1.5 萬億中文 token，在億級中文任務(wù)數(shù)據(jù)上完成訓(xùn)練，并訓(xùn)練數(shù)百種任務(wù)集。它具有更好的理解、生成和抽取能力，并且支持文本改寫、糾錯、知識圖譜問答等。
PromptCLUE支持幾十個不同類型的任務(wù)，具有較好的零樣本學(xué)習(xí)能力和少樣本學(xué)習(xí)能力。針對理解類任務(wù)，如分類、情感分析、抽取等，可以自定義標(biāo)簽體系;針對生成任務(wù)，可以進(jìn)行采樣自由生成。
技術(shù)亮點
1.首個全中文任務(wù)支持的零樣本學(xué)習(xí)的開源模型;
2.自動化高質(zhì)量數(shù)據(jù)處理算法，產(chǎn)出海量高質(zhì)量無監(jiān)督和有監(jiān)督數(shù)據(jù)用于訓(xùn)練;
3.基于高質(zhì)量數(shù)據(jù)構(gòu)建更加符合中文習(xí)慣的字典并從零訓(xùn)練中文大模型，模型性能效果更有保證;
4.融合多種訓(xùn)練策略訓(xùn)練大模型，具備在中文上強大的泛化、遷移和生成能力。
ChatYuan 功能對話開源大模型
就其功能而言，ChatYuan 可以用于問答、結(jié)合上下文做對話、做各種生成任務(wù)(包括創(chuàng)意性寫作)，也能回答一些像法律、醫(yī)療等領(lǐng)域問題。ChatYuan 線上服務(wù)是基于百億參數(shù)大模型，目前已開源了 7.7 億的參數(shù)模型，顯存 6G 左右，一張民用顯卡即可加載使用。后續(xù)會陸續(xù)開源更多、更大參數(shù)量的版本。
ChatYuan基于 PromptCLUE 結(jié)合數(shù)億條功能對話多輪對話數(shù)據(jù)進(jìn)一步訓(xùn)練得到，它去掉了文本理解、信息抽取類任務(wù)，加強了問答、對話和各種生成式任務(wù)的學(xué)習(xí)和訓(xùn)練;針對多輪對話容易受到上下文的干擾，加入了抗干擾數(shù)據(jù)使得模型可以在必要時忽略無關(guān)的上下文;加入了用戶反饋數(shù)據(jù)的學(xué)習(xí)，對齊人類意圖，使得模型不僅具有一定的通用語言理解能力、特定任務(wù)上的生成能力，也能更好地響應(yīng)用戶的意圖。
技術(shù)亮點
1.基于從零訓(xùn)練的全中文任務(wù)支持零樣本學(xué)習(xí)模型 PromptCLUE 進(jìn)一步迭代獲取。
2.在中文領(lǐng)域首創(chuàng)了功能對話形式支持全中文任務(wù)，支持自由輸入。
3.結(jié)合人類反饋的方法進(jìn)行學(xué)習(xí)，對齊人類意圖。
文本創(chuàng)作能力
上下文關(guān)聯(lián)能力
元語智能認(rèn)為目前公司發(fā)布的大模型中還有很多可以優(yōu)化的方向，比如在某些場景下效果不穩(wěn)定;在對齊人類意圖、復(fù)雜推理和代碼生成上還需要持續(xù)優(yōu)化。
在未來，元語智能將在多個方向上持續(xù)精進(jìn)，比如模型 size 上將推出千億級別參數(shù)模型、在對齊人類意圖層面實現(xiàn)關(guān)鍵突破，并且提升至少 50% 模型的覆蓋場景，并且今年在國內(nèi)實現(xiàn)行業(yè)通用人工智能的落地應(yīng)用。
通用人工智能(AGI)的堅定信仰者 — 中國 “Yuan”
元語智能是一家致力于提供通用人工智能技術(shù)(AGI)的初創(chuàng)公司，堅定通用人工智能信仰，持續(xù)不斷在全球范圍內(nèi)，為實現(xiàn)可靠、有效、無害的通用人工智能貢獻(xiàn)中國力量，讓人類受益。目前元語智能已經(jīng)提供了支持功能型對話的開源中文大模型免費下載及 API 服務(wù)，以及基于網(wǎng)頁、小程序的類「ChatGPT」的機(jī)器人交互產(chǎn)品等。
元語智能認(rèn)為，通用人工智能(AGI)是下一代計算機(jī)基礎(chǔ)設(shè)施，代表了人類未來主要人機(jī)交互和生活方式，并在不久的將來會使大部分行業(yè)廣泛受益。
元語智能核心成員來自于中文 NLP 開源社區(qū)「CLUE」及阿里達(dá)摩院、百度等互聯(lián)網(wǎng)企業(yè)，在這里不得不介紹下「神秘」的 CLUE 開源社區(qū)。
CLUE 開源社區(qū)
2019 年，隨著預(yù)訓(xùn)練模型成為主流的趨勢，國內(nèi)陸續(xù)產(chǎn)生了一些預(yù)訓(xùn)練模型。可是國內(nèi)沒有一個可以衡量大模型效果的綜合性中文基準(zhǔn)，而國外已經(jīng)有了 GLUE 這樣的通用預(yù)訓(xùn)練模型基準(zhǔn)。所以CLUE 的發(fā)起人聯(lián)合國內(nèi)外 30 多個產(chǎn)業(yè)界青年學(xué)者，一起共建了中文語言理解標(biāo)準(zhǔn)評價系統(tǒng)(CLUE)。CLUE 的定位是要更好的服務(wù)中文語言理解任務(wù)，作為通用語言模型測評的補充，通過搜集整理發(fā)布中文任務(wù)及標(biāo)準(zhǔn)化測評等方式完善基礎(chǔ)設(shè)施，最終促進(jìn)中文 NLP 和認(rèn)知領(lǐng)域的進(jìn)步和突破。
CLUE 是一組評估機(jī)器能夠像人類一樣理解和響應(yīng)中文文本的任務(wù)，上線于 3 年前，也是第一個大規(guī)模的中文語言評估基準(zhǔn)。在 CLUE 的官網(wǎng)上，有語料庫、排行榜、預(yù)訓(xùn)練模型和代表性的數(shù)據(jù)集等資料可供選擇，包括文本相似度、分類、上下文推理、閱讀理解、少樣本學(xué)習(xí)和知識圖譜等在內(nèi)的 17 項測評任務(wù)。自發(fā)布以來，獲得了人工智能行業(yè)的廣泛認(rèn)可，同時將成果發(fā)布在頂會論文。眾多頭部公司包括阿里、華為、百度、字節(jié)跳動、美團(tuán)、網(wǎng)易、OPPO、招商銀行等都使用了 CLUE 基準(zhǔn)。
因此脫胎于 CLUE 社區(qū)的元語智能，在多方面具備大模型的先天優(yōu)勢，積累了包括大量高質(zhì)量數(shù)據(jù)、具備豐富的處理數(shù)據(jù)的算法和經(jīng)驗、沉淀了強大的大模型研發(fā)能力，并且非常重要的是，積累了十分活躍的開發(fā)者開源社區(qū)。
CLUE 核心組織成員在 2022 年看到了大模型和生成模型的潛力，以及基于對通用人工智能(AGI)未來的堅定判斷，進(jìn)行了近一年的技術(shù)孵化，之后創(chuàng)立元語智能。并且在 ChatGPT 發(fā)布半年之前就已經(jīng)在多任務(wù)大模型進(jìn)行深入探索和研發(fā)，積累了大量經(jīng)驗。
團(tuán)隊進(jìn)展
截止目前，元語智能主要在以下方面取得了有效進(jìn)展：
2022 年 10 月 1 日發(fā)布 PromptCLUE1.0 模型 & API — 首個中文支持的零樣本開源模型。目前全平臺下載量：4.4W+，API 調(diào)用量：10w+/ 天。
2022 年 11 月發(fā)布 PromptCLUE1.5 模型 & API — 支持更多任務(wù)的零樣本開源模型。
2022 年 12 月 20 日發(fā)布 ChatYuan— 國內(nèi)首個基于百億參數(shù)大模型的功能對話產(chǎn)品，支持小程序和網(wǎng)頁。
2023 年 1 月 12 日發(fā)布 ChatYuan 大模型 — 首個功能對話開源模型供免費下載，全平臺已有數(shù)萬下載量。
2023 年 2 月 3 日發(fā)布 ChatYuan API— 可供 API 調(diào)用的功能對話模型。
國內(nèi) AGI 困境
其實包括元語智能在內(nèi)，國內(nèi)無論是大型科技公司還是創(chuàng)業(yè)公司，目前都面臨著各式各樣的挑戰(zhàn)，很難有像 OpenAI 的資源和人才密度。國內(nèi)創(chuàng)業(yè)公司或許在一段時間內(nèi)可以專心技術(shù)研發(fā)，但很快就會受到盈利壓力的挑戰(zhàn)，而不斷調(diào)整戰(zhàn)略方向。大型科技公司雖然看起來資源充足，但是很少能在未有落地成效的情況下，堅定信念進(jìn)行長期持續(xù)投入基礎(chǔ)設(shè)施建設(shè)。
在元語智能看來，國內(nèi)目前主要有以下多方面的問題：
人力、算力方面的資源瓶頸。國內(nèi)行業(yè)內(nèi)相對來說更缺乏耐心，在未見到明確收益前持續(xù)投入不足，資本也同時缺乏耐心。
中文高質(zhì)量的數(shù)據(jù)積累不足，國內(nèi)開源開放的生態(tài)相對薄弱。
對 AI 未來趨勢的前瞻性判斷不足，缺少具有堅定信仰的引領(lǐng)者。
行業(yè)對 AGI 創(chuàng)業(yè)公司信心不足，對于 AGI 價值的共識不夠。
未來愿景
因此，元語智能作為國內(nèi)第一個勇敢前行的初創(chuàng)公司，并堅定通用人工智能(AGI)將普惠人類的信仰，給了國內(nèi)通用人工智能行業(yè)從業(yè)者非常大的信心。
同時，元語智能強烈呼吁：國內(nèi)從事人工智能研究的同行、長期關(guān)注科技行業(yè)的資本以及各行各業(yè)對 AGI 感興趣的朋友，要共同有耐心、有信心的堅持下去。他山之石，可以攻玉，但我山之石將會持之以恒。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
