近日，多模態(tài)人工智能模型基準(zhǔn)評(píng)測(cè)集MMMU更新榜單，云知聲山海多模態(tài)大模型UniGPT-mMed以通用能力、醫(yī)療專業(yè)能力雙雙排名第一的優(yōu)異成績登頂榜首，力壓GPT-4V，充分彰顯其硬核實(shí)力。
作為國內(nèi)權(quán)威多模態(tài)基準(zhǔn)評(píng)測(cè)，MMMU由IN.AI Research等多家機(jī)構(gòu)聯(lián)合構(gòu)建，專注于考量人工智能在解決大學(xué)層次多學(xué)科問題時(shí)的多模態(tài)理解與推理能力。
該評(píng)測(cè)集涉及藝術(shù)與設(shè)計(jì)、商科、科學(xué)、健康與醫(yī)學(xué)、人文與社會(huì)科學(xué)、技術(shù)與工程等六個(gè)常見學(xué)科，包含 1.15 萬個(gè)精心選取的多模態(tài)問題，涵蓋 30 個(gè)不同的科目和183 個(gè)子領(lǐng)域。同時(shí)，MMMU 中許多問題都需要專家級(jí)的推理能力，例如，使用傅立葉變換或均衡理論來推導(dǎo)問題的解，這在滿足評(píng)測(cè)內(nèi)容廣泛性的同時(shí)，也確保了其深度。
此外，MMMU還提出了兩個(gè)獨(dú)特的挑戰(zhàn)：一是其涵蓋多種圖像格式，從照片和繪畫等視覺場(chǎng)景到圖表和表格，可用于測(cè)試 LMM 的感知能力;二是MMMU的輸入形式是文本和圖像的混合，要求AI模型能夠?qū)D像和文本信息結(jié)合起來進(jìn)行深入理解，并在此基礎(chǔ)上執(zhí)行復(fù)雜推理。這不僅考驗(yàn)了模型的學(xué)科知識(shí)儲(chǔ)備，也對(duì)其綜合分析和應(yīng)用能力提出了更高要求。
評(píng)測(cè)結(jié)果顯示，云知聲山海多模態(tài)大模型UniGPT-mMed以總分57的優(yōu)異成績登頂榜首，并在健康與醫(yī)學(xué)細(xì)分賽道超越GPT-4V，力壓一眾大模型拔得頭籌，充分展現(xiàn)出其在擁有業(yè)內(nèi)一流的通用能力之外，更具備打造世界領(lǐng)先的行業(yè)大模型的能力。
UniGPT-mMed是云知聲基于山海大模型底座構(gòu)建的多模態(tài)大模型。其通過分析和整合海量論文、書籍及網(wǎng)站數(shù)據(jù)，利用精細(xì)化數(shù)據(jù)處理技術(shù)，自動(dòng)識(shí)別并提取圖片及其相關(guān)文本描述，并通過多模態(tài)分析技術(shù)評(píng)估圖片的質(zhì)量和圖文之間的匹配度，篩選出最優(yōu)數(shù)據(jù)。與此同時(shí)，系統(tǒng)能夠參考圖片和上下文信息對(duì)圖片進(jìn)行重新描述，使得圖文數(shù)據(jù)更加對(duì)齊。
通過預(yù)設(shè)問答場(chǎng)景，UniGPT-mMed能夠?qū)D文對(duì)齊數(shù)據(jù)轉(zhuǎn)化為高質(zhì)量的場(chǎng)景問答數(shù)據(jù)集，并采用思維鏈和自我反思技術(shù)，進(jìn)一步優(yōu)化生成數(shù)據(jù)，最終構(gòu)建起一個(gè)包含數(shù)億條高質(zhì)量圖文問答的數(shù)據(jù)集，進(jìn)而為用戶提供更加豐富、準(zhǔn)確和可靠的信息檢索和問答服務(wù)。
此次評(píng)測(cè)，是云知聲在多模態(tài)大模型賽道持續(xù)深耕、不斷技術(shù)創(chuàng)新的成果體現(xiàn)。
作為中國AGI技術(shù)產(chǎn)業(yè)化的先行者，云知聲于2016年開始打造Atlas人工智能基礎(chǔ)設(shè)施，并以此為基礎(chǔ)，構(gòu)建云知大腦(UniBrain)技術(shù)中臺(tái)——以山海(UniGPT)通用認(rèn)知大模型為核心，結(jié)合多模態(tài)感知與生成、知識(shí)圖譜、物聯(lián)平臺(tái)等智能組件，為云知聲智慧物聯(lián)、智慧醫(yī)療、智慧座艙、智慧交通等業(yè)務(wù)提供高效的產(chǎn)品化支撐，持續(xù)推動(dòng)“U(云知大腦)+X(應(yīng)用場(chǎng)景)”戰(zhàn)略布局，致力推動(dòng)千行百業(yè)的智慧化升級(jí)。
作為云知大腦的核心，山海大模型具備語言生成、語言理解、知識(shí)問答、邏輯推理、代碼能力、數(shù)學(xué)能力、安全合規(guī)能力七項(xiàng)通用能力及插件擴(kuò)展、領(lǐng)域增強(qiáng)、企業(yè)定制三項(xiàng)行業(yè)落地能力，能夠滿足更多場(chǎng)景的應(yīng)用需求。今年8月，云知聲推出山海多模態(tài)大模型，通過整合跨模態(tài)信息，山海多模態(tài)大模型能夠接收文本、音頻、圖像等多種形式作為輸入，并實(shí)時(shí)生成文本、音頻和圖像的任意組合輸出，帶來實(shí)時(shí)多模態(tài)擬人交互體驗(yàn)，開啟AGI新范式。
目前，山海大模型已相繼在OpenCompass大模型評(píng)測(cè)、SuperCLUE中文大模型基準(zhǔn)測(cè)評(píng)、MedBench評(píng)測(cè)、Flageval大模型評(píng)測(cè)、SuperBench等多個(gè)權(quán)威評(píng)測(cè)中屢創(chuàng)佳績，穩(wěn)居國內(nèi)大模型第一梯隊(duì);在醫(yī)療專業(yè)能力上，其基于山海大模型孵化的醫(yī)療大模型在CCKS 2023 PromptCBLUE醫(yī)療大模型評(píng)測(cè)中奪得通用賽道一等獎(jiǎng)，并在MedBench評(píng)測(cè)中位列全球第一，各項(xiàng)指標(biāo)全面超越GPT-4。
登頂MMMU評(píng)測(cè)榜，充分印證了云知聲山海多模態(tài)大模型在通用能力、專業(yè)能力層面的突出實(shí)力，也將鞭策云知聲持續(xù)迭代多模態(tài)大模型技術(shù)底座，實(shí)現(xiàn)大模型技術(shù)在多領(lǐng)域場(chǎng)景下的滲透和應(yīng)用，以技術(shù)創(chuàng)新為各行各業(yè)帶來更多智能化變革。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
