國內(nèi)首個(gè)大模型評(píng)測數(shù)據(jù)集（MMCU）問世 加速完善國產(chǎn)AI產(chǎn)業(yè)圖譜

在當(dāng)下人工智能領(lǐng)域，大語言模型將為各行各業(yè)帶來顛覆性的效率革命和體驗(yàn)升級(jí)，這已經(jīng)成為了業(yè)界共識(shí)。借此，一場由ChatGPT引發(fā)的“百模大戰(zhàn)”早已轟轟烈烈地拉開序幕，縱觀整個(gè)科技圈，幾乎所有高科技公司都在打造自己的大語言模型，更有專家斷言，不出意外，將很快升級(jí)為“千模大戰(zhàn)”。

面對(duì)國內(nèi)大語言模型萬箭齊發(fā)的局面，如何更好地提升大語言模型對(duì)中文的理解能力，更好地服務(wù)于全球的中文用戶，甲骨易AI研究院首創(chuàng)性地推出了高質(zhì)量中文評(píng)測數(shù)據(jù)集——一款名為“超越”(Massive Multitask Chinese Understanding，簡稱MMCU)的大規(guī)模的多任務(wù)測試數(shù)據(jù)集，填補(bǔ)了中文大語言模型能力測試缺失的一大空白。5月20日，一場以“大模型實(shí)際應(yīng)用與場景化落地”為主題的研討沙龍暨“超越”MMCU測試數(shù)據(jù)集產(chǎn)品發(fā)布會(huì)在甲骨易第三空間拉開序幕。

本次沙龍由甲骨易AI研究院主辦，來自中科院、北京大學(xué)、北京外國語大學(xué)、哈薩克恩斯坦國立大學(xué)等學(xué)術(shù)界代表，中關(guān)村軟件園、小米、咪咕、快手、商湯、霖瓏云、博思眾智、智譜華章、中航出版?zhèn)髅降犬a(chǎn)業(yè)界代表以及多家科技媒體代表出席了本次沙龍活動(dòng)，并針對(duì)大語言模型的數(shù)據(jù)量與評(píng)價(jià)標(biāo)準(zhǔn)等相關(guān)話題，暢所欲言，展開了熱烈的討論。

邁向認(rèn)知智能演進(jìn)的過程

在本次沙龍活動(dòng)中，北京外國語大學(xué)人工智能與人類語言重點(diǎn)實(shí)驗(yàn)室主任、多語自然語言處理研究中心主任李佐文進(jìn)行了精彩的開場致辭。李佐文認(rèn)為，語言智能包括對(duì)人類語言機(jī)理的研究以及對(duì)自然語言的技術(shù)處理研究兩大板塊，這兩個(gè)領(lǐng)域都應(yīng)深入研究，并肩發(fā)展，機(jī)器方能有望像人一樣理解自然的語言，生成自然的語言。來自甲骨易的數(shù)據(jù)服務(wù)事業(yè)部負(fù)責(zé)人王敏在致辭中提及，甲骨易創(chuàng)始之初正是為了搭建人與人之間的溝通交流，跨越語言跨越文化之間的障礙，而當(dāng)下正是要搭建人與機(jī)器，甚至是機(jī)器與機(jī)器之間的溝通橋梁——這也正是甲骨易AI研究院成立的初心。

圖1：北京外國語大學(xué)人工智能與人類語言重點(diǎn)實(shí)驗(yàn)室主任 李佐文致辭

圖2：甲骨易數(shù)據(jù)服務(wù)事業(yè)部負(fù)責(zé)人 王敏致辭

眾所周知，人工智能技術(shù)在飛速演進(jìn)。沙龍上，來自小米公司的大模型數(shù)據(jù)負(fù)責(zé)人彭力進(jìn)行了以《小米遇上大模型》為主題的精彩演講，他介紹了業(yè)界中定義的人工智能產(chǎn)業(yè)發(fā)展演變的四個(gè)層面：第一層叫運(yùn)算智能層（早已實(shí)現(xiàn)），第二層叫感知智能層（目前已在多領(lǐng)域接近人類水平），第三層是認(rèn)知智能（尚在推進(jìn)中），第四層才是通用智能層（尚有距離）。其中，第三層的認(rèn)知智能指的是在感知智能的基礎(chǔ)上進(jìn)一步的理解、思考和解釋。他指出，我們正在向通用人工智能演進(jìn)，而大語言模型則可以加速人工智能演進(jìn)的進(jìn)程與當(dāng)前面臨的技術(shù)難點(diǎn)，并展示了小米在大語言模型領(lǐng)域的最新進(jìn)展。

圖3：小米大模型數(shù)據(jù)負(fù)責(zé)人 彭力發(fā)言

實(shí)際上，ChatGPT最早主要是針對(duì)文本語料進(jìn)行大規(guī)模的學(xué)習(xí)，后來數(shù)據(jù)參數(shù)達(dá)到了數(shù)千億量級(jí)，便有了大語言模型的說法。彭力表示，在訓(xùn)練大語言模型的過程中，諸如廣告等噪聲數(shù)據(jù)，以及大量的同質(zhì)化語料等因素都會(huì)影響訓(xùn)練的效果，甚至還會(huì)面臨數(shù)據(jù)版權(quán)的風(fēng)險(xiǎn)。來自北京外國語大學(xué)的李佐文則在分享中直言，業(yè)界通過自然語言處理等辦法，竭盡全力想讓機(jī)器理解人類的語言，依舊是挑戰(zhàn)重重。

國產(chǎn)中文大語言模型體系亟待完善

我們需要看清這樣的現(xiàn)實(shí)，國內(nèi)大語言模型和國際一流仍有差距，超越并非一朝一夕就可以實(shí)現(xiàn)。當(dāng)下，國內(nèi)廠商往往采取的是模仿與跟隨策略，盡管未來有望彎道超車，甚至后來者居上，但當(dāng)下就有一些廠商宣稱將實(shí)現(xiàn)通用模型對(duì)標(biāo)ChatGPT，中文大模型能夠超越ChatGPT的當(dāng)前版本，與之旗鼓相當(dāng)，并在多領(lǐng)域做到業(yè)界領(lǐng)先，無疑這樣的說辭，也只是停留在口號(hào)之上，尚未經(jīng)過實(shí)踐驗(yàn)證。

盡管對(duì)標(biāo)ChatGPT等豪言壯語已響徹耳畔，但只憑借廠商只言片語的宣傳描述，以及對(duì)特定數(shù)據(jù)評(píng)測案例的展示，其數(shù)據(jù)樣本遠(yuǎn)遠(yuǎn)不足以及摻入了廠商的主觀意愿，導(dǎo)致現(xiàn)有數(shù)據(jù)資料不足以展現(xiàn)各大廠商之間大模型技術(shù)能力之間的差異性，也使得用戶很難真正了解各家技術(shù)能力的優(yōu)勢所在。在這樣的背景之下，許多優(yōu)秀的國產(chǎn)大模型被淹沒在這種噪聲當(dāng)中，嚴(yán)重制約了國產(chǎn)大模型乃至人工智能產(chǎn)業(yè)的發(fā)展。因此，如何發(fā)現(xiàn)大模型的缺陷，以及如何更好地理解包括中文在內(nèi)的人類語言文本？…..這一系列問題擺在了當(dāng)下以ChatGLM、MOSS、文心一言、通義千問、商量、星火等眾多具備中文能力的大模型廠商面前。

鑒于國外率先開啟了大模型研究，針對(duì)英文大語言模型已經(jīng)有較為完善的評(píng)測方式，如2021年由DanHendrycks等人發(fā)布的MMLU。然而針對(duì)中文大語言模型，卻仍處于空白。需要指出的是，國外的很多機(jī)構(gòu)研究發(fā)現(xiàn)，數(shù)據(jù)量與分布對(duì)于訓(xùn)練模型的配比方式非常重要，Common crawl這種大數(shù)據(jù)集語言分布是不均勻的，英文占了46%，中文只占了5%。這樣配比導(dǎo)致后續(xù)的大模型進(jìn)行參照訓(xùn)練時(shí)，會(huì)發(fā)現(xiàn)在中文語料缺失的情況下，中文的理解能力是欠缺的，國內(nèi)研究機(jī)構(gòu)和人工智能企業(yè)都在去增補(bǔ)這些中文語料來提升中文能力。

與此同時(shí)，對(duì)理解中文的大語言模型及時(shí)加以客觀公正的評(píng)價(jià)，使其“越”來越強(qiáng)大，也成為了當(dāng)務(wù)之急。因此，甲骨易推出“超越”MMCU數(shù)據(jù)集恰逢其時(shí)，通過綜合評(píng)估模型在多個(gè)學(xué)科上的知識(shí)廣度和深度，能夠幫助研究者更精準(zhǔn)地找出模型的缺陷，并對(duì)模型的能力進(jìn)行打分。

“把大模型當(dāng)成一個(gè)真正的人類”

在分享過程中，來自甲骨易AI研究院的首席研究員Felix坦言，要評(píng)價(jià)這些大語言模型的基礎(chǔ)能力，實(shí)際上是一個(gè)非常難以解決的問題。甲骨易憑借多年數(shù)據(jù)服務(wù)行業(yè)探索的技術(shù)優(yōu)勢，率先推出的針對(duì)于中文預(yù)訓(xùn)練大模型的大規(guī)模多任務(wù)評(píng)測數(shù)據(jù)集以及相應(yīng)的評(píng)測方法，旨在衡量中文大模型在處理眾多任務(wù)上的準(zhǔn)確度，主要覆蓋醫(yī)療、法律、心理學(xué)和教育四大領(lǐng)域，題目形式涵蓋單項(xiàng)選擇和多項(xiàng)的選擇題，共包含11900個(gè)問題。

圖4：甲骨易AI研究院 Felix發(fā)言

“我們是把大模型當(dāng)作一個(gè)真正的人類來看待，”Felix如是說，測試集之所以涉及語、數(shù)、物理、化學(xué)這些科目，因?yàn)槿斯ぶ悄鼙仨毾袢祟愐粯?，具備?duì)于世界的基礎(chǔ)的認(rèn)知；而醫(yī)療、法律、心理學(xué)專業(yè)領(lǐng)域則是將大模型視為專業(yè)人士進(jìn)行考核。通過對(duì)多領(lǐng)域知識(shí)廣度與深度的測試，甲骨易AI研究院可以幫助技術(shù)研發(fā)人員發(fā)現(xiàn)大語言模型在哪些領(lǐng)域有缺陷，或者說可能在其整體上都有缺陷。

沙龍上，中國科學(xué)院大學(xué)網(wǎng)絡(luò)數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室的咸寧先生則針對(duì)MMCU測試集的使用情況進(jìn)行分享，解釋了測試數(shù)據(jù)集的分析原理，對(duì)幾大模型的測試成果進(jìn)行了展示與客觀分析，并指出了超越MMCU測試數(shù)據(jù)集當(dāng)下尚存在一些亟待解決的問題。

圖5：中國科學(xué)院大學(xué)網(wǎng)絡(luò)數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室 咸寧發(fā)言

通過發(fā)布會(huì)召開前開展的大模型測試發(fā)現(xiàn)，在本應(yīng)有明顯優(yōu)勢的語文科目中，國產(chǎn)大模型的表現(xiàn)卻差強(qiáng)人意。Felix指出，現(xiàn)在很多模型評(píng)估還是處于人工評(píng)估階段，甲骨易推出“超越”MMCU數(shù)據(jù)集的初衷是希望實(shí)現(xiàn)對(duì)大模型進(jìn)行大規(guī)模的評(píng)估。當(dāng)下的評(píng)測結(jié)果可能存在隨機(jī)誤差，但未來還將持續(xù)優(yōu)化評(píng)測方式并擴(kuò)充評(píng)測領(lǐng)域。

攜手共建，未來可期

自ChatGPT的驚艷亮相，人類生活的方方面面已發(fā)生了巨變。大模型仍有許多難關(guān)亟待解決，借助超越MMCU評(píng)測數(shù)據(jù)集，一舉打破市面上所有的大語言模型只能基于英文數(shù)據(jù)集去進(jìn)行測試的現(xiàn)狀，中文大語言模型將有望構(gòu)建起一個(gè)完善的評(píng)測的體系，通過發(fā)現(xiàn)提升大語言的缺陷提升大語言模型對(duì)于中文的理解能力，更好地服務(wù)于全球的中文用戶。

圖6：大模型實(shí)際應(yīng)用與場景化落地沙龍現(xiàn)場

“大模型的訓(xùn)練以及大規(guī)模評(píng)估需要大量算力?！奔坠且譇I研究院最后表示，愿與業(yè)界更多機(jī)構(gòu)聯(lián)手，一道攜手推進(jìn)大模型的發(fā)展，加速人工智能技術(shù)的產(chǎn)學(xué)研用進(jìn)程。超越評(píng)測數(shù)據(jù)集的發(fā)布，只是起點(diǎn)，甲骨易還將大有可為。更多精彩，敬請期待甲骨易第三空間未來更多活動(dòng)。

MMCU論文鏈接：https://arxiv.org/abs/2304.12986

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。