中國首個音樂SOTA模型「天工音樂大模型」今日公測

2024年4月17日,在「天工」大模型一周年之際,昆侖萬維重磅宣布,「天工3.0」基座大模型與「天工SkyMusic」音樂大模型正式開啟公測!一年前的今天,第一版天工大模型正式對外發(fā)布上線,一年來我們不斷迭代模型,迭代應(yīng)用產(chǎn)品,模型和應(yīng)用都越做越好,以此回報廣大用戶的支持。

「天工3.0」擁有4000億參數(shù),超越了3140億參數(shù)的Grok-1,是全球最大的開源MoE大模型?!柑旃?.0」在語義理解、邏輯推理、通用性、泛化性、不確定性知識、學習能力等領(lǐng)域擁有突破性的性能提升,數(shù)學/推理/代碼/文創(chuàng)能力提升超過30%。

(天工3.0模型參數(shù)超越Grok-1,成全球最大開源MoE專家混合大模型)

強大的模型技術(shù)實力賦予「天工3.0」超強的性能表現(xiàn)。在MMBench等多項權(quán)威多模態(tài)測評結(jié)果中,「天工3.0」超越GPT-4V,全球領(lǐng)先。

(天工3.0多模態(tài)性能超越GPT-4V,全球領(lǐng)先)

同時,「天工3.0」旗下的「天工SkyMusic」音樂大模型也在今日面向全社會開放公測?!柑旃kyMusic」是中國首個音樂SOTA模型,更是中國的自研大模型技術(shù)第一次在AIGC領(lǐng)域領(lǐng)跑全球。

(天工SkyMusic綜合性能超越Suno V3,取得音樂大模型SOTA,領(lǐng)跑全球)

天工SkyMusic:中國首個音樂AIGC SOTA模型

此前,大模型已經(jīng)在文本、圖像等多個技術(shù)領(lǐng)域取得突破,帶來產(chǎn)業(yè)全面變革。然而,在AI音樂生成領(lǐng)域,全球遲遲等不到一款產(chǎn)品,開啟「音樂ChatGPT時刻」。

這是因為一直以來,AI音樂行業(yè)大量研究都集中在符號音樂生成技術(shù)路線上,并且大多只能實現(xiàn)無人聲背景音樂(Background Music,BGM)的生成,音樂的質(zhì)量、效果、審美都遠遠達不到可用水平,產(chǎn)業(yè)遲遲未能爆發(fā)。

(「天工SkyMusic」自研AI音樂大模型技術(shù)架構(gòu))

與行業(yè)主流路徑不同,「天工SkyMusic」采用自研大模型音樂音頻生成技術(shù)路線。這一路線直接通過大模型技術(shù)實現(xiàn)樂器、人聲、旋律、音量、音符的一體化端到端音樂生成,技術(shù)難度極大,全球只有包括昆侖萬維在內(nèi)的極少數(shù)頂尖玩家參與。

在與海外頂尖的AI音樂大模型Suno V3的橫向測評中,「天工SkyMusic」在人聲&BGM音質(zhì)、人聲自然度、發(fā)音可懂度等領(lǐng)域顯著領(lǐng)先對手,并以6.65分的綜合得分超越Suno V3,成為全球AI音樂SOTA模型。

此外,「天工SkyMusic」還擁有獨創(chuàng)的參考音樂生成與方言歌曲生成能力。

參考音樂生成:用戶可上傳自有參考音樂,或選擇「天工SkyMusic」資料庫中現(xiàn)有的參考音樂,從而生成風格、唱腔類似的歌曲,進一步降低音樂大模型的使用門檻,讓不熟悉樂理知識的用戶也能輕松玩轉(zhuǎn)。

方言歌曲生成:「天工SkyMusic」生成的音樂不僅在人聲自然度、發(fā)聲可懂度等領(lǐng)域表現(xiàn)優(yōu)秀,更能夠支持粵語、成都話、北京話等眾多方言,讓用戶能夠更自由地實現(xiàn)音樂表達,傳播方言文化。

「天工SkyMusic」是中國首個公開可用的AI音樂生成模型,更是中國自研大模型技術(shù)第一次在AIGC領(lǐng)域領(lǐng)跑全球。

當前,在文本大模型領(lǐng)域,OpenAI吸引了全球的注意力;但是在AI搜索、AI音樂生成等細分領(lǐng)域,中國玩家們正在奮勇前行,不斷通過自研技術(shù)取得細分領(lǐng)域頂尖的SOTA表現(xiàn),共同建設(shè)中國大模型產(chǎn)業(yè),打造自主可控的大模型產(chǎn)業(yè)生態(tài)。

天工3.0:4000億參數(shù),全球最大開源MoE大模型

在上一代「天工2.0」MoE大模型的領(lǐng)先基礎(chǔ)上,「天工3.0」實現(xiàn)了全面的性能升級,采用了4000億級參數(shù)MoE混合專家模型架構(gòu),是目前全球模型參數(shù)最大、性能最強的開源MoE模型。

「天工3.0」的邏輯推理能力、語義理解能力、應(yīng)對復(fù)雜需求能力、內(nèi)容創(chuàng)作能力全面升級,并新增了多輪搜索與綜合工具調(diào)用、圖表繪制、研究模式、增強模式、改圖擴圖等多項AI能力,為用戶帶來全新AI體驗。

多輪搜索與綜合工具調(diào)用:「天工3.0」針對模型獨立規(guī)劃、調(diào)用、組合外部工具及整合信息的能力進行了專項訓練,使其能夠獨立生成并調(diào)用代碼,完成包括產(chǎn)業(yè)研究、產(chǎn)品橫評、信息分析、圖片生成、圖表繪制等多種復(fù)雜用戶需求。

同時,「天工3.0」能夠通過強大的語義理解能力將用戶任務(wù)拆解成細分環(huán)節(jié),實時判斷是否需要聯(lián)網(wǎng)或調(diào)用工具,進行單輪或多輪的聯(lián)網(wǎng)搜索、工具調(diào)用,完成包括多輪搜索、熱點信息分析、圖片生成等復(fù)雜用戶需求。

(Query:查詢最新中國歷史電影票房排行,圖表展示)

圖表繪制:「天工3.0」全面提高了邏輯推理能力與用戶自然語言Query的理解能力,使其能夠更精準地判斷用戶需求,獨立生成并調(diào)用代碼,結(jié)合文本需求實時進行內(nèi)容分析及圖表構(gòu)建,為用戶帶來更直觀、高效的對比結(jié)果。

(Query:北京、上海、重慶哪個好玩?)

多輪搜索、綜合工具調(diào)用、圖表繪制等都是「天工3.0」所獨有的大模型綜合能力,其從底層打通了「天工3.0」的AI搜索、AI對話、AI代碼生成、AI圖片識別、AI圖像生成等底層能力,通過語義識別能力直接觸發(fā),為用戶帶來更加便捷、高效的AI體驗,成為真正的AI生產(chǎn)力工具。

此外,「天工3.0」中還增加了研究模式、增強模式、改圖擴圖等多項AI能力。

研究模式:在研究模式中,「天工3.0」能夠圍繞用戶的某個簡單指令進行相關(guān)問題的延伸,自動生成研究大綱、圖譜、實踐總結(jié)、思維導(dǎo)圖,幫助用戶快速清晰地把握核心內(nèi)容,完成用戶復(fù)雜的研究需求。

(Query:康乾盛世年代)

增強模式:在增強模式中,「天工3.0」能夠針對用戶的復(fù)雜Query進行拆解、細化、并進行追問、信息理解與補全,使其在自然語義理解方面性能更強,面對不確定性知識時表現(xiàn)更好,能夠更精準、高效地滿足用戶需求。

(Query:2024年春節(jié)檔電影;「天工3.0」理解并追問用戶需求)

改圖擴圖:「天工3.0」多模態(tài)性能取得全面突破,超越GPT-4V,綜合排名全球第一。在強大的技術(shù)底座支持下,「天工3.0」的AI繪圖能力新增了圖片尺寸擴展、圖片定向調(diào)整、墊圖生圖、墊圖進化、墊圖擴圖等全新功能。

(「天工3.0」的AI改圖、修圖、擴圖等功能)

關(guān)于昆侖萬維

自去年4月17日「天工」大模型正式推出以來,昆侖萬維已圍繞「天工」系列大模型建起AI大模型、AI搜索、AI音樂、AI視頻、AI社交、AI游戲等AI業(yè)務(wù)矩陣,是國內(nèi)模型技術(shù)與工程能力最強、布局最全面的人工智能科技企業(yè)之一。

這一年里,除了對「天工」系列基座大模型進行不斷升級迭代,昆侖萬維還推出了國內(nèi)第一款A(yù)I搜索引擎「天工AI搜索」、開源了百億級大語言模型「天工Skywork-13B」、推出國內(nèi)領(lǐng)先的AI Agent開發(fā)平臺「天工SkyAgents」等一系列前沿大模型產(chǎn)品。

當前,「天工」系列大模型已集成了AI音樂、AI搜索、AI寫作、AI長文本閱讀、AI畫圖、AI語音合成、AI漫畫創(chuàng)作、AI圖片識別、AI代碼寫作、AI表格生成等多項能力,并將在未來加入AI視頻功能,對標“超級應(yīng)用”,成為人工智能時代的“超級大模型”(Super Model)。在“實現(xiàn)通用人工智能,讓每個人更好地塑造和表達自我”的公司使命驅(qū)動下,昆侖萬維將始終致力于AI技術(shù)與產(chǎn)品的創(chuàng)新開拓,不斷提高AI產(chǎn)品的用戶體驗,與用戶、研究人員、開發(fā)者們攜手,共創(chuàng)國產(chǎn)大模型的未來。

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )