隨著AIGC時代的到來，數字人生成技術正逐漸成為焦點。出門問問自主研發(fā)的照片數字人引擎，憑借持續(xù)的技術創(chuàng)新，讓用戶僅需一張照片就能快速生成可以說話、講故事的動態(tài)視頻。目前，這一引擎已成功應用于國內產品「奇妙元」以及國際產品「DupDub」。
出門問問不斷迭代照片數字人引擎
自2023年推出WetaAvatar 3.0數字人系統及其照片數字人引擎以來，出門問問憑借其易用性和生動的生成效果，迅速贏得了用戶的青睞，進行了形式豐富的內容創(chuàng)作。為了進一步提升用戶體驗，我們推出了最新一代的照片數字人引擎——WetaAvatar 4.0-Talking Photo。這一版本不僅優(yōu)化了視頻生成的清晰度和真實感，還顯著加快了合成過程。同時，我們也在積極開發(fā)照片數字人實時對話引擎，不斷推動技術創(chuàng)新的邊界。
在新一代照片數字人引擎WetaAvatar 4.0-Talking Photo中，用戶可以體驗到以下優(yōu)化：
合成速度翻倍：合成速度顯著提升，大幅縮短等待時間。
背景渲染優(yōu)化：視頻背景渲染精準，與原圖色彩無縫匹配。
人物背景分離增強：確保人物與背景之間的高度解耦，提升視頻質量。
牙齒與嘴型精準復現：細節(jié)處理更出色，確保牙齒和嘴型的真實性和自然性。
大模型賦能 自然語音輸出
用戶僅需提供文本內容，便可借助出門問問的MeetVoice Pro語音大模型，生成自然流暢的語音輸出。之后，結合我們的數字人系統，這些語音將被轉化為精確同步的嘴形動作和自然的表情變化，創(chuàng)造出動作流暢、表現力豐富的數字人視頻，為用戶提供一種全新的互動體驗和內容創(chuàng)作方式。
兩大技術模塊 促成高質量效果
WetaAvatar 4.0-Talking Photo是一個高效的雙模塊引擎，專為生成逼真的照片數字人視頻而設計，包含兩個核心組件：運動預測模塊和人臉驅動模塊。運動預測模塊:此模塊利用先進的語音分析技術，從輸入的語音中提取關鍵參數，這些參數隨后用于精確生成與之匹配的嘴型動畫。這個過程涉及到復雜的算法，能夠確保嘴型與語音的節(jié)奏和強度完美同步，從而創(chuàng)造出自然流暢的說話效果。人臉驅動模塊：此模塊則進一步增強了視頻的真實感。它結合了預先生成的驅動視頻和用戶輸入的靜態(tài)圖片，通過算法生成一個全面的運動場。這個運動場不僅包含了嘴型變化，還能夠模擬出豐富的面部表情和微妙的肌肉運動。隨后，這個運動場可以用來驅動輸入圖片，生成具有高度表現力和動態(tài)變化的數字人視頻。基于以上兩個模塊，在新一代Talking Photo引擎中，不論是人物正臉或側臉驅動，其表現均優(yōu)于前代，技術指標Sync-C的數值普遍高于WetaAvatar 3.0-Talking Photo引擎。
Sync-C (SyncNet Confidence)：使用預訓練的衡量音畫同步性的模型 SyncNet 計算的音畫同步置信度。相同的驅動音頻和驅動視頻，數值越高越好。
更多創(chuàng)作形式盡在探索
目前，「奇妙元」平臺已經搭載WetaAvatar 4.0-Talking Photo引擎，用戶能夠釋放創(chuàng)意潛力，將風格各異的人物照片驅動，生成高質量的動態(tài)視頻，實現人物自然地說話、講述，甚至唱歌的視頻效果。
「奇妙元」支持對皮克斯風格照片進行人物驅動，效果與真實人物幾乎無異。
如照片中的人物有胡子等面部遮擋物，「奇妙元」依然能夠精準捕捉面部特征，保證圖像生成的準確性。
對于年代久遠的老照片，「奇妙元」能夠進行精準上色和高清渲染處理，進而驅動照片中的人物，讓這些珍貴的記憶煥發(fā)出新的活力。
展望未來
出門問問技術團隊致力于推動數字人技術的發(fā)展，目前正專注于基于WetaAvatar 4.0-Talking Photo的實時照片對話引擎的研發(fā)工作，預計不久將投入使用。我們不僅注重技術的創(chuàng)新，更著眼于提升用戶體驗，旨在通過生成更真實的表情和豐富的動作，打造出具有高度情感表現力的照片數字人。隨著大模型時代的到來，出門問問數字人團隊也將持續(xù)深入探索基于大模型的數字人生成技術，以Sora模型的問世為里程碑，期待在大模型的加持下，創(chuàng)造出更加生動、真實的數字人，為用戶提供更加豐富和深入的交互體驗。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
