9月 19 日，在杭州云棲大會(huì)上，阿里云CTO周靖人宣布通義萬相全面升級(jí)，并發(fā)布全新視頻生成模型，可生成影視級(jí)高清視頻，可應(yīng)用于影視創(chuàng)作、動(dòng)畫設(shè)計(jì)、廣告設(shè)計(jì)等領(lǐng)域。即日起，所有用戶可通過通義APP及通義萬相官網(wǎng)免費(fèi)體驗(yàn)。
據(jù)介紹，通義萬相首批上線文生視頻、圖生視頻功能，在文生視頻功能中，用戶輸入任意文字提示詞，即可生成一段高清視頻，支持中英文多語言輸入，并可以通過靈感擴(kuò)寫功能智能豐富視頻內(nèi)容表現(xiàn)力，支持16:9、9:16等多種比例生成；在圖生視頻功能中，支持用戶將任意圖片轉(zhuǎn)化為動(dòng)態(tài)視頻，按照上傳的圖像比例或預(yù)設(shè)比例進(jìn)行生成，同時(shí)可以通過提示詞來控制視頻運(yùn)動(dòng)。
現(xiàn)場，阿里云演示了該模型強(qiáng)大的運(yùn)動(dòng)生成和概念組合能力，輸入「穿著滑冰鞋的小兔子在冰面上靈活移動(dòng)的可愛場景」，通義萬相僅用數(shù)分鐘就能生成一段高清、逼真的視頻。
通義萬相視頻生成大模型集成了多項(xiàng)創(chuàng)新技術(shù)，有效解決畫面表現(xiàn)力和大幅度運(yùn)動(dòng)等視頻生成技術(shù)難題。針對(duì)運(yùn)動(dòng)生成和物理模擬等難點(diǎn)優(yōu)化算法，實(shí)現(xiàn)了大幅度主體運(yùn)動(dòng)和運(yùn)鏡控制，并有效模擬真實(shí)世界物理特性；設(shè)計(jì)了高壓縮比、高質(zhì)量視頻VAE框架，有效降低視頻信息冗余，并保持高質(zhì)量視頻重構(gòu)能力；同時(shí)，基于輕量微調(diào)框架和精選數(shù)據(jù)集優(yōu)化訓(xùn)練，在中式傳統(tǒng)元素、風(fēng)格化視頻生成上表現(xiàn)更好。
去年7月，通義萬相圖像生成大模型首次亮相，目前已累計(jì)生成7500萬張圖片。云棲大會(huì)現(xiàn)場，通義萬相宣布視覺生成大模型全面升級(jí)為Diffusion Transformer框架，同時(shí)結(jié)合通義千問復(fù)雜提示詞解釋能力，有效提升畫面表現(xiàn)力、語義理解能力、可控生成能力。隨著通義萬相視頻生成模型的發(fā)布，通義大模型已覆蓋文本生成、圖像理解、視頻理解、音頻理解、圖像生成、視頻生成等全模態(tài)場景。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
