2月18日，昆侖萬(wàn)維開(kāi)源中國(guó)首個(gè)面向AI短劇創(chuàng)作的視頻生成模型SkyReels-V1、中國(guó)首個(gè)SOTA級(jí)別基于視頻基座模型的表情動(dòng)作可控算法SkyReels-A1。
開(kāi)源地址：
1、SkyReels-V1：http://ygpos.cn/uploadfile/pic2020/2025/0218/20250218110046197G>
2、SkyReels-A1：http://ygpos.cn/uploadfile/pic2020/2025/0218/20250218110046198G>
3、技術(shù)報(bào)告：http://ygpos.cn/uploadfile/pic2020/2025/0218/20250218110047199G>
4、SkyReels官方地址：skyreels.ai
1. SkyReels-V1：Human-Centric Video Foundation Model，中國(guó)首個(gè)面向AI短劇創(chuàng)作的開(kāi)源視頻生成模型
SkyReels-V1可實(shí)現(xiàn)影視級(jí)人物微表情表演生成，支持33種細(xì)膩人物表情與400+種自然動(dòng)作組合，高度還原真人情感表達(dá)。正如以下視頻所示，SkyReels-V1支持生成大笑、怒吼、驚訝、哭泣等微表情，展現(xiàn)出人物情感豐沛的表演細(xì)節(jié)。即使有大幅度肢體動(dòng)作，SkyReels-V1生成的微表情也完美貼合人物肢體表演。
同時(shí)，SkyReels-V1為AI視頻生成帶來(lái)了電影級(jí)光影美學(xué)，基于好萊塢級(jí)的高質(zhì)量影視數(shù)據(jù)訓(xùn)練，當(dāng)前SkyReels生成的每一幀畫(huà)面，在構(gòu)圖、演員站位、相機(jī)角度等都具備電影級(jí)的質(zhì)感。無(wú)論是單人鏡頭表演細(xì)節(jié)，還是多人構(gòu)圖，當(dāng)前已具備精準(zhǔn)的表情控制和高質(zhì)感畫(huà)面。
更重要的是，SkyReels-V1不僅支持文生視頻、還能支持圖生視頻，是開(kāi)源視頻生成模型中參數(shù)最大的支持圖生視頻的模型，在同等分辨率下各項(xiàng)指標(biāo)實(shí)現(xiàn)開(kāi)源SOTA。
圖1丨SkyReels-V1文生視頻指標(biāo)對(duì)比(來(lái)源：昆侖萬(wàn)維SkyReels)
能夠?qū)崿F(xiàn)這樣的SOTA級(jí)別，不僅依賴(lài)于昆侖萬(wàn)維SkyReels團(tuán)隊(duì)基于自研的高質(zhì)量數(shù)據(jù)清洗和人工標(biāo)注管線(xiàn)，構(gòu)建了千萬(wàn)級(jí)的高質(zhì)量電影&電視劇&紀(jì)錄片數(shù)據(jù)。更依托團(tuán)隊(duì)自研「Human-Centric」的視頻理解多模態(tài)大模型，大幅提升視頻中人物相關(guān)的理解能力，尤其是自研人物智能解析系統(tǒng)。
綜上所述，得益于扎實(shí)的數(shù)據(jù)工作和先進(jìn)的人物智能解析系統(tǒng)，SkyReels-V1可以實(shí)現(xiàn)：
影視化表情識(shí)別體系：11種針對(duì)影視戲劇中的人物表情理解，如不屑、不耐煩、無(wú)助、厭惡等表情的理解;
人物空間位置感知：基于人體三維重建技術(shù)，實(shí)現(xiàn)對(duì)視頻中多人的空間相對(duì)關(guān)系理解，助力模型生成影視級(jí)人物站位;
行為意圖理解：構(gòu)建超過(guò)400種行為語(yǔ)義單元，實(shí)現(xiàn)對(duì)人物行為的精準(zhǔn)理解;
表演場(chǎng)景理解：實(shí)現(xiàn)人物-服裝-場(chǎng)景-劇情的關(guān)聯(lián)分析。
SkyReels-V1不僅是全球極少數(shù)開(kāi)源的視頻生成模型，還是圍繞人物表演、開(kāi)源視頻生成模型中性能最強(qiáng)的。
在自研推理優(yōu)化框架「SkyReels-Infer」的加持下，大幅提升推理效率，實(shí)現(xiàn)544p分辨率，推理基于單臺(tái)4090只需80s，還支持分布式多卡并行，支持Context Parallel，CFG Parallel，和 VAE Parallel。此外，采取fp8 quantization以及parameter-level offload，滿(mǎn)足低顯存用戶(hù)級(jí)顯卡運(yùn)行需求;支持flash attention、SageAttention，模型編譯優(yōu)化等，進(jìn)一步優(yōu)化延遲;基于開(kāi)源diffuser庫(kù)，提升易用性。
正如下圖2所示，在同等RTX4090資源情況下對(duì)比(4卡)，SkyReels-Infer版本比HunyuanVideo官方版本端到端延遲減少58.3%(293.3s vs 464.3s);SkyReels-Infer版本具備更魯棒的部署策略，支持用戶(hù)級(jí)別顯卡1卡-8卡的推理部署。
圖2丨推理生成544p視頻，使用相同卡數(shù)的RTX 4090，SkyReels-Infer版本端到端延遲優(yōu)于HunyuanVideo官方(xdit) 58.3%
在同等A800資源情況下對(duì)比，SkyReels-Infer版本比HunyuanVideo官方版本端到端延遲減少14.7%～28.2%(如圖3所示)，SkyReels-Infer版本具備更魯棒的多卡部署策略。
圖3丨推理生成544p視頻，SkyReels-Infer版本具備更魯棒的多卡部署策略，支持8卡部署
2.SkyReels-A1：首個(gè)SOTA級(jí)別的基于視頻基座模型的表情動(dòng)作可控算法
為了實(shí)現(xiàn)更加精準(zhǔn)可控的人物視頻生成，昆侖萬(wàn)維還開(kāi)源了SOTA級(jí)別的基于視頻基座模型的表情動(dòng)作可控算法SkyReels-A1，對(duì)標(biāo)Runway的Act-One，SkyReels-A1支持視頻驅(qū)動(dòng)的電影級(jí)表情捕捉，實(shí)現(xiàn)高保真微表情還原。能夠基于任意人體比例(包括肖像、半身及全身構(gòu)圖)生成高度逼真的人物動(dòng)態(tài)視頻，其真實(shí)感源自對(duì)人物表情變化和情緒的精準(zhǔn)模擬、皮膚肌理、身體動(dòng)作跟隨等多維度細(xì)節(jié)的深度還原。
SkyReels-A1不僅支持側(cè)臉的表情控制生成、還能實(shí)現(xiàn)更加逼真的眉眼微表情生成和更大幅度的頭部與自然身體動(dòng)作。SkyReels-A1能夠?qū)崿F(xiàn)更大幅度的人物表情驅(qū)動(dòng)。相比Runway的Act-One，SkyReels-A1可以遷移更復(fù)雜的表情動(dòng)作，生成的人物面部神情可以配合肢體及畫(huà)面內(nèi)容實(shí)現(xiàn)更栩栩如生的表演。
3.以開(kāi)源之姿，以破局之勢(shì)，昆侖萬(wàn)維致力于推動(dòng)全球AI短劇創(chuàng)作生態(tài)繁榮發(fā)展
昆侖萬(wàn)維一直堅(jiān)持開(kāi)源，推動(dòng)技術(shù)平權(quán)。昆侖萬(wàn)維同時(shí)將SOTA級(jí)別的SkyReels-V1和SkyReels-A1進(jìn)行開(kāi)源，是AI短劇行業(yè)首例，也是昆侖萬(wàn)維SkyReels回饋行業(yè)邁出的一小步，更是促進(jìn)AI短劇創(chuàng)作和視頻生成行業(yè)枝繁葉茂的一大步。
我們相信在進(jìn)行推理優(yōu)化的升級(jí)和可控算法的開(kāi)源后，它們將為用戶(hù)帶來(lái)低成本、可控性更強(qiáng)的AIGC能力。昆侖萬(wàn)維希望通過(guò)更多優(yōu)秀視頻生成模型的開(kāi)源和極致的AI短劇產(chǎn)品能力，為用戶(hù)帶來(lái)低成本實(shí)現(xiàn)AI短劇創(chuàng)作的可能性、突破行業(yè)目前視頻生成一致性差的問(wèn)題，讓大眾通過(guò)自己的電腦生成精細(xì)且可控的人物表演。
此次開(kāi)源的視頻大模型，不僅是一次技術(shù)突破，有助于縮小全球內(nèi)容產(chǎn)業(yè)的數(shù)字鴻溝，更是文化產(chǎn)業(yè)生產(chǎn)力的一次革命。未來(lái)，短劇與游戲、虛擬現(xiàn)實(shí)等領(lǐng)域的跨界發(fā)展，將會(huì)加速產(chǎn)業(yè)融合。AI短劇也有希望從“技術(shù)實(shí)驗(yàn)”邁向“主流創(chuàng)作”，成為全球文化輸出的新載體。
“實(shí)現(xiàn)通用人工智能，讓每個(gè)人更好地塑造和表達(dá)自我”是公司的使命，未來(lái)，昆侖萬(wàn)維及SkyReels還將開(kāi)源更多視頻生成模型和算法、通用模型，通過(guò)開(kāi)源實(shí)現(xiàn)AGI平權(quán)，推動(dòng)AI短劇生態(tài)的持續(xù)建設(shè)和繁榮，促進(jìn)開(kāi)源社區(qū)、開(kāi)發(fā)生態(tài)以及AI行業(yè)的發(fā)展。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
