對標(biāo)Sora，生數(shù)科技聯(lián)合清華推出視頻大模型Vidu 可一鍵生成16秒高清視頻

4月27日消息，在中關(guān)村論壇未來人工智能先鋒論壇上，生數(shù)科技聯(lián)合清華大學(xué)正式發(fā)布中國首個長時長、高一致性、高動態(tài)性視頻大模型——Vidu。該模型采用團(tuán)隊(duì)原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。

Vidu不僅能夠模擬真實(shí)物，還擁有豐富想象力，具備多鏡頭生成、時空一致性高等特點(diǎn)。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型，性能全面對標(biāo)國際頂尖水平，并在加速迭代提升中。

北京生數(shù)科技有限公司（簡稱“生數(shù)科技”）成立于 2023 年 3 月，致力于打造全球領(lǐng)先的多模態(tài)大模型及應(yīng)用產(chǎn)品。公司創(chuàng)始團(tuán)隊(duì)來自清華大學(xué)人工智能研究院。

截至目前，生數(shù)科技已完成數(shù)億元融資，投資方包括啟明創(chuàng)投、螞蟻集團(tuán)、BV百度風(fēng)投、達(dá)泰資本、錦秋基金、卓源亞洲等知名機(jī)構(gòu)。

多維度模擬真實(shí)世界，全面對標(biāo)Sora

與Sora一致，Vidu能夠根據(jù)提供的文本描述直接生成長達(dá)16秒的高質(zhì)量視頻。除了在時長方面的突破外，Vidu在視頻效果方面實(shí)現(xiàn)顯著提升，主要體現(xiàn)在幾個方面：

模擬真實(shí)物理世界：能夠生成細(xì)節(jié)復(fù)雜的場景，且符合真實(shí)的物理規(guī)律，例如合理的光影效果、細(xì)膩的人物表情等；

具有豐富想象力：能夠生成真實(shí)世界不存在的虛構(gòu)畫面，創(chuàng)造出具有深度和復(fù)雜性的超現(xiàn)實(shí)主義內(nèi)容。

多鏡頭語言：能夠生成復(fù)雜的動態(tài)鏡頭，不再局限于簡單的推、拉、移等固定鏡頭，而是能夠圍繞統(tǒng)一主體在一段畫面里就實(shí)現(xiàn)遠(yuǎn)景、近景、中景、特寫等不同鏡頭的切換，包括能直接生成長鏡頭、追焦、轉(zhuǎn)場等效果，給視頻注入鏡頭語言；

時空一致性高：在16秒的時長上保持連貫流暢，隨著鏡頭的移動，人物和場景在時間、空間中能夠保持一致；

理解中國元素：能夠生成特有的中國元素，例如熊貓、龍等；

值得一提的是，短片中的片段都是從頭到尾連續(xù)生成，沒有明顯的插幀現(xiàn)象，從這種“一鏡到底”的表現(xiàn)能夠推測出，Vidu采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實(shí)現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

早于Sora提出全球首個U-ViT融合架構(gòu)

Vidu的快速突破源自于團(tuán)隊(duì)在貝葉斯機(jī)器學(xué)習(xí)和多模態(tài)大模型的長期積累和多項(xiàng)原創(chuàng)性成果。其核心技術(shù)U-ViT架構(gòu)由團(tuán)隊(duì)于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個Diffusion與Transformer融合的架構(gòu)，完全由團(tuán)隊(duì)自主研發(fā)。

2023年3月，團(tuán)隊(duì)開源全球首個基于U-ViT架構(gòu)的多模態(tài)擴(kuò)散大模UniDiffuser，在全球范圍內(nèi)率先完成融合架構(gòu)的大規(guī)模可擴(kuò)展性（Scaling Law）驗(yàn)證。UniDiffuser是在大規(guī)模圖文數(shù)據(jù)集LAION-5B上訓(xùn)練出的近10億參數(shù)量模型，支持圖文模態(tài)間的任意生成和轉(zhuǎn)換。在架構(gòu)上，UniDiffuser比同樣DiT架構(gòu)的Stable Diffusion 3領(lǐng)先了一年。

自今年2月Sora發(fā)布推出后，團(tuán)隊(duì)基于對U-ViT架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗(yàn)，在短短兩個月進(jìn)一步突破長視頻表示與處理關(guān)鍵技術(shù)，研發(fā)推出Vidu視頻大模型，顯著提升視頻的連貫性與動態(tài)性。

從圖文任務(wù)的統(tǒng)一到融合視頻能力，作為通用視覺模型，Vidu能夠支持生成更加多樣化、更長時長的視頻內(nèi)容，同時面向未來，靈活架構(gòu)也將能夠兼容更廣泛的模態(tài)，進(jìn)一步拓展多模態(tài)通用能力的邊界。

Vidu的問世，不僅是U-ViT融合架構(gòu)在大規(guī)模視覺任務(wù)中的又一次成功驗(yàn)證，也代表了生數(shù)科技在多模態(tài)原生大模型領(lǐng)域的持續(xù)創(chuàng)新能力和領(lǐng)先性。同時生數(shù)科技表示，大模型的突破是一個多維度、跨領(lǐng)域的綜合性過程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計(jì)劃”，誠邀產(chǎn)業(yè)鏈上下游企業(yè)、研究機(jī)構(gòu)加入，共同構(gòu)建合作生態(tài)。

申請鏈接：https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。