搜狗發(fā)布全球首個(gè)手語(yǔ)AI合成主播 “黑科技”造福聽(tīng)障人士

5月17日,搜狐科技5G & AI峰會(huì)在北京舉行,搜狗CEO王小川應(yīng)邀出席發(fā)表主題演講?;顒?dòng)中,王小川正式發(fā)布最新一代搜狗AI合成主播——全球首個(gè)手語(yǔ)AI合成主播“小聰”,基于搜狗領(lǐng)先的人工智能和AI分身技術(shù),以“黑科技”的力量幫助聽(tīng)障人士更好融入社會(huì),更好享受數(shù)字化生活。

技術(shù)突破解決聽(tīng)障難題

根據(jù)世界衛(wèi)生組織發(fā)布的數(shù)據(jù),全球聽(tīng)力障礙人群高達(dá)4.66億,在我國(guó)則有2700萬(wàn)人。因無(wú)法常態(tài)化、高質(zhì)量地接受資訊信息,很多聽(tīng)障人士難以融入社會(huì),最終成為被遺忘和邊緣化群體。

目前,在以電腦、手機(jī)為載體的各類新聞資訊、文娛節(jié)目中,引入手語(yǔ)協(xié)助的少之又少。即使有能力的電視節(jié)目提供手語(yǔ)解說(shuō)時(shí),也多以正常語(yǔ)序編排,很少照顧到手語(yǔ)的特殊表達(dá)結(jié)構(gòu),造成絕大部分聽(tīng)障者只能理解不足60% 的內(nèi)容。因此,通過(guò)技術(shù)創(chuàng)新實(shí)現(xiàn)聽(tīng)障人士真正可懂的手語(yǔ)播報(bào)能力,對(duì)于幫助聽(tīng)障者克服溝通障礙,更好融入社會(huì)非常有價(jià)值。

“小聰”以打造聽(tīng)障人士真正可懂的通用手語(yǔ)播報(bào)為目標(biāo),立足于搜狗領(lǐng)先的數(shù)字人技術(shù)體系——搜狗分身,集成了超寫實(shí)3D數(shù)字人建模、機(jī)器翻譯、多模態(tài)數(shù)字人生成、遷移學(xué)習(xí)、實(shí)時(shí)面部動(dòng)作生成及驅(qū)動(dòng)等多項(xiàng)領(lǐng)先AI技術(shù),實(shí)現(xiàn)了超寫實(shí)3D數(shù)字人自然可懂的手語(yǔ)主播能力,使機(jī)器可以基于輸入口語(yǔ)文本生成逼真度高、手語(yǔ)表達(dá)準(zhǔn)確的3D數(shù)字人視頻內(nèi)容,從而具備“超寫實(shí)的逼真數(shù)字人效果”、“高可懂度的手語(yǔ)表達(dá)能力”、“高接受度的手語(yǔ)展現(xiàn)效果”三大特點(diǎn)。

三大優(yōu)勢(shì)凸顯“小聰”能力超群

數(shù)字人效果方面,“小聰”使用了行業(yè)最領(lǐng)先的3D重光照掃描還原、面部肌肉驅(qū)動(dòng)、表情肢體手勢(shì)捕捉技術(shù),生產(chǎn)出了高度還原真人發(fā)膚、形象逼真、動(dòng)作自然生動(dòng)的數(shù)字人模型,數(shù)字人寫實(shí)度的大幅突破則能夠顯著提升手語(yǔ)播報(bào)的真實(shí)感與親切感,從而提高播報(bào)用戶體驗(yàn)。

手語(yǔ)表達(dá)方面,“小聰”基于《國(guó)家通用手語(yǔ)詞典》,能夠?qū)崿F(xiàn)健聽(tīng)人語(yǔ)言與聽(tīng)障者手語(yǔ)語(yǔ)言的機(jī)器翻譯能力,基于輸入的健聽(tīng)人語(yǔ)言能夠低延遲生成高準(zhǔn)確率的手語(yǔ)語(yǔ)言表征,通過(guò)搜狗分身的多模態(tài)生成技術(shù),實(shí)時(shí)預(yù)測(cè)生成對(duì)應(yīng)的超寫實(shí)3D數(shù)字人驅(qū)動(dòng)參數(shù),進(jìn)而快速生成數(shù)字人手語(yǔ)播報(bào)視頻,在測(cè)評(píng)中可懂度可以達(dá)到85%以上,能有效幫助聽(tīng)障者克服理解障礙,達(dá)成信息有效傳遞。

手語(yǔ)展現(xiàn)方面,“小聰”可以完整實(shí)現(xiàn)手控信息及非手控信息的表達(dá),通過(guò)機(jī)器翻譯生成手語(yǔ)表征信息,覆蓋手部動(dòng)作、面部表情、口動(dòng)唇動(dòng)等多個(gè)維度,并基于搜狗多模態(tài)端到端生成模型進(jìn)行聯(lián)合建模及預(yù)測(cè),生成高準(zhǔn)確率的動(dòng)作、表情、唇動(dòng)等序列,從而達(dá)成自然、地道、接受度更高的手語(yǔ)表達(dá)效果。

在此過(guò)程中,“小聰”還運(yùn)用了業(yè)內(nèi)領(lǐng)先的搜狗SLMT(Sign Langure Machine Translation)技術(shù),在輸出符合聽(tīng)障人士習(xí)慣自然手語(yǔ)的基礎(chǔ)上,進(jìn)一步提高了手語(yǔ)的可懂度、豐富和逼真了AI合成主播的表情與唇動(dòng)能力,除了可以解決聽(tīng)障人士在日常生活、公共服務(wù)、特殊教育等多個(gè)場(chǎng)景下的信息不暢問(wèn)題,還可以快速生成、批量復(fù)制,全年無(wú)休、隨時(shí)隨地提供服務(wù)。

賦能于人彰顯社會(huì)責(zé)任

作為AI合成主播的開(kāi)創(chuàng)者,搜狗分身一直是行業(yè)發(fā)展的風(fēng)向標(biāo),也始終站在業(yè)內(nèi)最前沿,而搜狗分身之所以能夠“引領(lǐng)”行業(yè),得益于搜狗高度的社會(huì)責(zé)任感,以及搜狗AI“賦能于人”的發(fā)展理念。

自2018年發(fā)布全球首個(gè)AI合成主播至今,搜狗分身始終在堅(jiān)定踐行“以人為本,為人賦能”,而“小聰”的誕生,既是搜狗分身技術(shù)的再一次迭代突破,又是搜狗聚焦更加需要幫助的聽(tīng)障特殊人群,將“以人為本,賦能于人”貫徹得更加徹底、更有溫度的體現(xiàn),同時(shí)也充分彰顯了搜狗的社會(huì)責(zé)任感和企業(yè)擔(dān)當(dāng)。

作為全球首個(gè)手語(yǔ)AI合成主播,“小聰”能夠幫助廣大聽(tīng)障人士更好地接收資訊、更好地生活,更好地“看”世界,而從更高維度來(lái)看,它的廣泛運(yùn)用不僅可以造福國(guó)內(nèi)聽(tīng)障人士,甚至可以走出國(guó)門、造福全球,彰顯中國(guó)“智”力。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )

贊助商
2021-05-17
搜狗發(fā)布全球首個(gè)手語(yǔ)AI合成主播 “黑科技”造福聽(tīng)障人士
5月17日,搜狐科技5G & AI峰會(huì)在北京舉行,搜狗CEO王小川應(yīng)邀出席發(fā)表主題演講?;顒?dòng)中,王小川正式發(fā)布最新一代搜狗AI合成主播——全球...

長(zhǎng)按掃碼 閱讀全文