大家好，我是表情逼真、口型自然的火山引擎虛擬數(shù)字人
我會說中文、英語、日語、法語十多個語種以及粵語、重慶話、四川話等十多種方言
更重要的一點，現(xiàn)在僅用5-10分鐘視頻，你就可以擁有一個自己的數(shù)字分身，大大降低數(shù)字人的制作成本
如今在金融、汽車、傳媒等多個核心領(lǐng)域都活躍著我的身影……
在2023春季火山引擎FORCE原動力大會上，火山引擎正式發(fā)布“善聽”、“會說”、“能想”的虛擬數(shù)字人創(chuàng)新產(chǎn)品。作為該產(chǎn)品的技術(shù)支持，火山語音長期積累了成熟的語音交互技術(shù)：在語音識別方面，團(tuán)隊通過業(yè)內(nèi)領(lǐng)先的端到端語音識別模型，以及深耕金融、汽車、泛互等行業(yè)所積累的數(shù)據(jù)經(jīng)驗，在數(shù)十個領(lǐng)域中與真實場景數(shù)據(jù)反饋下字準(zhǔn)均可達(dá)到 92% 以上。
此外在領(lǐng)先的端到端語音合成技術(shù)加持下，團(tuán)隊的數(shù)字人產(chǎn)品不但會說十多種外語及方言，例如英語、日語、粵語、東北話、重慶話等，還具有開心、驚訝、憤怒等豐富的情感演繹能力，并可通過預(yù)測來控制重音、停頓，細(xì)粒度還原且對象感極強(qiáng)，為用戶提供更有溫度的服務(wù)。“我們通過使用行業(yè)領(lǐng)先的非自回歸模型的唇形生成網(wǎng)絡(luò)，合成與輸入文本或語音完全匹配的唇形，準(zhǔn)確率高達(dá)98.55%;基于創(chuàng)新的Motion Graph技術(shù)，數(shù)字人可以輕松做到毫秒級動作切換延遲且自然無感知。”團(tuán)隊表示。
重要的一點，目前產(chǎn)品已實現(xiàn)快速復(fù)刻數(shù)字分身，僅需5-10分鐘視頻，就可1:1還原真人。眾所周知，數(shù)字分身是一種較低成本定制虛擬數(shù)字人的解決方案，再結(jié)合聲音復(fù)刻就可快速實現(xiàn)形象與聲音的近乎完美還原，并可落地在內(nèi)容生產(chǎn)、視頻直播、車載環(huán)境等諸多場景中。為了能夠低成本在本地實現(xiàn)定制，火山語音團(tuán)隊積累了近百小時的多人訓(xùn)練數(shù)據(jù)用于base模型的訓(xùn)練，使用5-10分鐘的小數(shù)據(jù)量就可在該模型上實現(xiàn)精準(zhǔn)的面部運動還原，唇形準(zhǔn)確率高達(dá)98.6%，整體自然度MOS評測可達(dá)3.9。
在火山語音的“AI虛擬員工解決方案”支持下，火山引擎目前已建立了包括2D、3D卡通和3D超寫實在內(nèi)的虛擬數(shù)字人產(chǎn)品矩陣。從場景適配出發(fā)，包括“播報型數(shù)字人”和“交互型數(shù)字人”兩種類型，專注播報、交互、直播3大核心場景，面向金融、大消費、泛互等行業(yè)提供涵蓋“金融客服”、“智慧導(dǎo)覽”、“智能助理”、“虛擬直播”等場景細(xì)分解決方案，為用戶帶來全新的互動服務(wù)和便捷體驗。
2022年6月，火山引擎虛擬人數(shù)字平臺已獲得信通院首批數(shù)字人系統(tǒng)基礎(chǔ)能力認(rèn)證。近日火山語音首次參與“實時高逼真孿生數(shù)字人關(guān)鍵技術(shù)研發(fā)與應(yīng)用示范”項目建設(shè)，憑借業(yè)內(nèi)優(yōu)勢的AI語音技術(shù)以及全棧語音產(chǎn)品解決方案能力，參與到該項目課題三“實時高保真孿生數(shù)字人通用開發(fā)平臺”的建設(shè)中，并與江南游戲工作室合作，通過整合交互理解、智能對話管理、智能驅(qū)動三大模塊，構(gòu)建支持定制化并適用于多樣場景的數(shù)字人智能“對話”系統(tǒng)，實現(xiàn)多模態(tài)交互對話。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
