王小川攜虛擬主播亮相RISE大會(huì) 開可視化語(yǔ)音合成先河

（搜狗王小川在香港RISE科技峰會(huì)上展示虛擬主播）

2018年7月11日，央視主播“姚雪松”播報(bào)香港RISE科技峰會(huì)相關(guān)新聞的視頻出現(xiàn)在主演講臺(tái)上方的大屏幕上。

他來(lái)了么?沒來(lái)，是搜狗的王小川帶“他“來(lái)的。這是全球首個(gè)虛擬主播。

搜狗使用姚雪松1.5小時(shí)的音視頻數(shù)據(jù)，結(jié)合語(yǔ)音、圖像等多模態(tài)信息進(jìn)行聯(lián)合建模訓(xùn)練，輸入一段RISE大會(huì)的文字稿，可以快速預(yù)測(cè)生成與真人無(wú)異的播報(bào)效果。

機(jī)器能夠以“人”的形象如此輕松地播報(bào)新聞，背后是搜狗多年以來(lái)在AI上積累的技術(shù)實(shí)力。 7月份搜狗在Blizzard Challenge 2018上獲得語(yǔ)音合成大賽冠軍，而在上個(gè)月，搜狗的視覺研究團(tuán)隊(duì)獲得了CVPR WAD2018 挑戰(zhàn)賽冠軍，早在去年，搜狗在機(jī)器翻譯領(lǐng)域就已經(jīng)取得突破，在WMT2017收獲冠軍，頻頻獲獎(jiǎng)的同時(shí)，各項(xiàng)AI技術(shù)不斷推出，并逐步落地，搜狗的語(yǔ)音識(shí)別準(zhǔn)確率已超98%，日均語(yǔ)音輸入調(diào)用次數(shù)峰值達(dá)4億次;唇語(yǔ)識(shí)別在垂直應(yīng)用領(lǐng)域中的準(zhǔn)確率超90%，以語(yǔ)言為核心，搜狗已逐步建立起獨(dú)一無(wú)二的人工智能數(shù)據(jù)和技術(shù)壁壘。

提及本次發(fā)布的虛擬主播的技術(shù)難點(diǎn)，該項(xiàng)目的技術(shù)負(fù)責(zé)人表示：“最大的難點(diǎn)在于，讓機(jī)器僅使用一段文本，來(lái)預(yù)測(cè)生成逼真度極高的視頻，要保持視頻中主播的音頻和臉部表情、唇動(dòng)能夠自然且一致，做到如此逼真非常難。”目前市面上還沒有類似的產(chǎn)品，通過領(lǐng)先業(yè)界的語(yǔ)音合成和圖像生成技術(shù)，搜狗率先實(shí)現(xiàn)了虛擬主播目前的逼真效果。

虛擬主播在技術(shù)上的實(shí)現(xiàn)意味著AI具有了更豐富的表達(dá)方式，從文字表達(dá)走向音視頻的富媒體表達(dá)。

虛擬主播技術(shù)的應(yīng)用場(chǎng)景非常廣泛。首先，作為具備視頻內(nèi)容生產(chǎn)能力的一項(xiàng)技術(shù)，該技術(shù)可以運(yùn)用在諸如新聞、媒體內(nèi)容等場(chǎng)景中，自動(dòng)實(shí)時(shí)快捷地生成富媒體內(nèi)容。

其次，虛擬主播技術(shù)還能根據(jù)用戶上傳的單張人物圖片(明星、朋友、家人等)實(shí)時(shí)生成該人物的虛擬主播形象，用戶可以與其面對(duì)面交流。

結(jié)合搜狗語(yǔ)音交互系統(tǒng)知音OS能力，我們可以讓虛擬主播具備交互能力，使得該項(xiàng)技術(shù)可以應(yīng)用于教育、醫(yī)療、客服等多個(gè)行業(yè)，節(jié)約大量的人力成本。如果用于教育行業(yè)，虛擬主播可以成為脾氣很好的老師，不厭其煩地一遍一遍幫助用戶進(jìn)行發(fā)音口型指導(dǎo)。

此外，還可以應(yīng)用于各種具備交互能力的智能軟硬件。如果用于帶屏幕的智能音箱，虛擬主播就可以發(fā)展成為虛擬私人助理，用戶可以從單純與聲音的交互變成與一個(gè)逼真的虛擬人物的交互。

虛擬主播可能還會(huì)催生具有情感的交互App，比如幫助粉絲和愛豆實(shí)現(xiàn)“面對(duì)面”交互的追星App;上傳用戶自己喜歡的形象，結(jié)合搜狗的問答技術(shù)，可以與之進(jìn)行定制化問答的陪伴App等。

虛擬主播究竟會(huì)以何種方式滲入我們?nèi)祟惖纳钌胁豢芍?，或許有一天將打破次元壁和時(shí)空無(wú)處不在;未來(lái)，不管是銀行服務(wù)，還是電視節(jié)目，或是演唱會(huì)上的嘉賓，或許都可以看到它們的身影。

這位技術(shù)人員說：“后續(xù)，除了優(yōu)先提升人機(jī)交互的體驗(yàn)外，我們也會(huì)繼續(xù)優(yōu)化虛擬主播的真實(shí)感，并在虛擬主播情感表達(dá)上做更加深入的研究。”

他解釋說搜狗這次展示的虛擬主播還沒有添加“情感”，還顯得比較生硬。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。