大家好，我是表情逼真、口型自然的火山引擎虛擬數(shù)字人
我會(huì)說(shuō)中文、英語(yǔ)、日語(yǔ)、法語(yǔ)十多個(gè)語(yǔ)種以及粵語(yǔ)、重慶話、四川話等十多種方言
更重要的一點(diǎn)，現(xiàn)在僅用5-10分鐘視頻，你就可以擁有一個(gè)自己的數(shù)字分身，大大降低數(shù)字人的制作成本
如今在金融、汽車、傳媒等多個(gè)核心領(lǐng)域都活躍著我的身影……
在2023春季火山引擎FORCE原動(dòng)力大會(huì)上，火山引擎正式發(fā)布“善聽(tīng)”、“會(huì)說(shuō)”、“能想”的虛擬數(shù)字人創(chuàng)新產(chǎn)品。作為該產(chǎn)品的技術(shù)支持，火山語(yǔ)音長(zhǎng)期積累了成熟的語(yǔ)音交互技術(shù)：在語(yǔ)音識(shí)別方面，團(tuán)隊(duì)通過(guò)業(yè)內(nèi)領(lǐng)先的端到端語(yǔ)音識(shí)別模型，以及深耕金融、汽車、泛互等行業(yè)所積累的數(shù)據(jù)經(jīng)驗(yàn)，在數(shù)十個(gè)領(lǐng)域中與真實(shí)場(chǎng)景數(shù)據(jù)反饋下字準(zhǔn)均可達(dá)到 92% 以上。
此外在領(lǐng)先的端到端語(yǔ)音合成技術(shù)加持下，團(tuán)隊(duì)的數(shù)字人產(chǎn)品不但會(huì)說(shuō)十多種外語(yǔ)及方言，例如英語(yǔ)、日語(yǔ)、粵語(yǔ)、東北話、重慶話等，還具有開(kāi)心、驚訝、憤怒等豐富的情感演繹能力，并可通過(guò)預(yù)測(cè)來(lái)控制重音、停頓，細(xì)粒度還原且對(duì)象感極強(qiáng)，為用戶提供更有溫度的服務(wù)。“我們通過(guò)使用行業(yè)領(lǐng)先的非自回歸模型的唇形生成網(wǎng)絡(luò)，合成與輸入文本或語(yǔ)音完全匹配的唇形，準(zhǔn)確率高達(dá)98.55%;基于創(chuàng)新的Motion Graph技術(shù)，數(shù)字人可以輕松做到毫秒級(jí)動(dòng)作切換延遲且自然無(wú)感知。”團(tuán)隊(duì)表示。
重要的一點(diǎn)，目前產(chǎn)品已實(shí)現(xiàn)快速?gòu)?fù)刻數(shù)字分身，僅需5-10分鐘視頻，就可1:1還原真人。眾所周知，數(shù)字分身是一種較低成本定制虛擬數(shù)字人的解決方案，再結(jié)合聲音復(fù)刻就可快速實(shí)現(xiàn)形象與聲音的近乎完美還原，并可落地在內(nèi)容生產(chǎn)、視頻直播、車載環(huán)境等諸多場(chǎng)景中。為了能夠低成本在本地實(shí)現(xiàn)定制，火山語(yǔ)音團(tuán)隊(duì)積累了近百小時(shí)的多人訓(xùn)練數(shù)據(jù)用于base模型的訓(xùn)練，使用5-10分鐘的小數(shù)據(jù)量就可在該模型上實(shí)現(xiàn)精準(zhǔn)的面部運(yùn)動(dòng)還原，唇形準(zhǔn)確率高達(dá)98.6%，整體自然度MOS評(píng)測(cè)可達(dá)3.9。
在火山語(yǔ)音的“AI虛擬員工解決方案”支持下，火山引擎目前已建立了包括2D、3D卡通和3D超寫(xiě)實(shí)在內(nèi)的虛擬數(shù)字人產(chǎn)品矩陣。從場(chǎng)景適配出發(fā)，包括“播報(bào)型數(shù)字人”和“交互型數(shù)字人”兩種類型，專注播報(bào)、交互、直播3大核心場(chǎng)景，面向金融、大消費(fèi)、泛互等行業(yè)提供涵蓋“金融客服”、“智慧導(dǎo)覽”、“智能助理”、“虛擬直播”等場(chǎng)景細(xì)分解決方案，為用戶帶來(lái)全新的互動(dòng)服務(wù)和便捷體驗(yàn)。
2022年6月，火山引擎虛擬人數(shù)字平臺(tái)已獲得信通院首批數(shù)字人系統(tǒng)基礎(chǔ)能力認(rèn)證。近日火山語(yǔ)音首次參與“實(shí)時(shí)高逼真孿生數(shù)字人關(guān)鍵技術(shù)研發(fā)與應(yīng)用示范”項(xiàng)目建設(shè)，憑借業(yè)內(nèi)優(yōu)勢(shì)的AI語(yǔ)音技術(shù)以及全棧語(yǔ)音產(chǎn)品解決方案能力，參與到該項(xiàng)目課題三“實(shí)時(shí)高保真孿生數(shù)字人通用開(kāi)發(fā)平臺(tái)”的建設(shè)中，并與江南游戲工作室合作，通過(guò)整合交互理解、智能對(duì)話管理、智能驅(qū)動(dòng)三大模塊，構(gòu)建支持定制化并適用于多樣場(chǎng)景的數(shù)字人智能“對(duì)話”系統(tǒng)，實(shí)現(xiàn)多模態(tài)交互對(duì)話。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
