5月21日，騰訊AI虛擬人艾靈再秀出新技能，首次展示AI作詩(shī)、AI書(shū)法等國(guó)風(fēng)才藝，并與青年歌手白舉綱跨次元合作，共同演唱國(guó)風(fēng)新歌《百川千仞》。
AI“艾靈”誕生于騰訊AI Lab，來(lái)自實(shí)驗(yàn)性、探索性技術(shù)項(xiàng)目“多模態(tài)虛擬人”。機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等多種核心AI能力融合，讓艾靈能“歌”善“言”，飽讀“詩(shī)書(shū)”。
此次最新發(fā)布的艾靈寫(xiě)詩(shī)技能，來(lái)自于文本創(chuàng)作模型SongNet，針對(duì)任意關(guān)鍵詞，艾靈都能快速“作出”藏頭、藏中的詩(shī)詞。而依托騰訊AI Lab的前沿圖像生成技術(shù)，艾靈得以拜顏真卿、柳宗元、米芾、蘇軾等中國(guó)書(shū)法大家為師，運(yùn)用最新的圖像生成對(duì)抗網(wǎng)絡(luò)，“寫(xiě)下”神形兼?zhèn)涞臅?shū)法字體。在2021年春節(jié)，她運(yùn)用這項(xiàng)技能為上千萬(wàn)人寫(xiě)下寓意美滿的春聯(lián)。
目前，團(tuán)隊(duì)已經(jīng)通過(guò)公開(kāi)論文發(fā)表了 DurIAN 和 SongNet 的核心技術(shù)細(xì)節(jié)，SongNet 代碼也已開(kāi)源。未來(lái)，騰訊AI Lab將把該項(xiàng)技術(shù)能力開(kāi)放給業(yè)界，共同探索AI數(shù)字人與數(shù)字內(nèi)容生成和教育等現(xiàn)實(shí)場(chǎng)景的結(jié)合，攜手更多創(chuàng)作者一起傳承中華優(yōu)秀文化。
誰(shuí)是“艾靈”?
傳統(tǒng)虛擬偶像一般是通過(guò)對(duì)真人演員的“動(dòng)作捕捉+配音”來(lái)實(shí)現(xiàn)的，但讓艾靈這樣的AI虛擬人能夠動(dòng)起來(lái)、與真人對(duì)話，技術(shù)難度更大、也對(duì)技術(shù)的協(xié)同性提出了更高的要求。
艾靈背后由一套騰訊AI Lab自研的復(fù)雜系統(tǒng)支撐，系統(tǒng)首先要從文本中提取不同信息，包括動(dòng)作、表情、情感、重音位置、和激動(dòng)程度等;之后，這些信息被輸入到模型中，生成動(dòng)作和表情，再同步生成語(yǔ)音、口型和表情參數(shù)，最終才有了艾靈自然生動(dòng)的表現(xiàn)。
騰訊“多模態(tài)虛擬人”項(xiàng)目希望把計(jì)算機(jī)視覺(jué)、語(yǔ)音/歌聲合成和轉(zhuǎn)換、圖像/視頻合成和遷移、自然語(yǔ)言理解等多模態(tài)的AI能力和技術(shù)融為一體，生成清晰、流暢、高質(zhì)的可交互內(nèi)容，推進(jìn)AI在虛擬偶像、虛擬助理、在線教育、數(shù)字內(nèi)容生成等領(lǐng)域的應(yīng)用。
相較于傳統(tǒng)方法，應(yīng)用多模態(tài)合成技術(shù)打造的虛擬人，無(wú)論是在自然度、魯棒性、可控性、泛化能力以及實(shí)時(shí)性等方面都取得了更好的效果。
深度學(xué)習(xí)：秒學(xué)才藝的魔法
艾靈所具備的唱歌、表情、作詞、書(shū)法等多項(xiàng)才藝，均來(lái)自于對(duì)海量數(shù)據(jù)的深度學(xué)習(xí)，這幫助她快速掌握更多技能，向全能AI不斷接近。
“氣貫長(zhǎng)虹”、“充滿未來(lái)之感”的歌聲，來(lái)源于騰訊AI Lab研發(fā)的DurIAN聲學(xué)模型。不同于其他虛擬歌姬的“機(jī)器合成+人工調(diào)教”模式，給艾靈輸入一段曲譜，無(wú)需人工調(diào)教，她就可以合成非常自然和擬真的歌聲。
首先，研究者以音素為基本發(fā)音單元將任意歌曲描述為一連串音素的序列;然后通過(guò)分析歌譜，從文字、旋律、節(jié)奏等多個(gè)維度分別提取和預(yù)測(cè)詞曲中每個(gè)音素的發(fā)音、時(shí)長(zhǎng)、停頓、音高、風(fēng)格和演唱技巧等特征;最后使用由真人(中國(guó)網(wǎng)絡(luò)聲優(yōu)龜娘)演唱的歌聲訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)聲學(xué)模型和聲碼器模型，合成出與真人聲線高度相似歌聲音頻。
艾靈為嘉賓們寫(xiě)藏頭詩(shī)的能力，來(lái)自文本創(chuàng)作模型SongNet。模型的基本骨架是一個(gè)自回歸語(yǔ)言模型，騰訊AI Lab研究員針對(duì)格式、韻律、句子完整性設(shè)計(jì)了特殊的符號(hào)來(lái)進(jìn)行標(biāo)識(shí)和建模。詞粒度和句粒度的掩碼訓(xùn)練策略可以增強(qiáng)模型給定上下文補(bǔ)全缺失內(nèi)容的能力。借助于經(jīng)典的預(yù)訓(xùn)練和精調(diào)模式，可以進(jìn)一步提升模型生成詩(shī)詞的質(zhì)量。
書(shū)法則是艾靈最近掌握的新技能。騰訊AI Lab依托前沿的圖像生成技術(shù)，通過(guò)訓(xùn)練AI書(shū)法學(xué)習(xí)模型，模仿書(shū)法的形體及神韻。實(shí)驗(yàn)室投入了大量精力，運(yùn)用最新的AI圖像生成對(duì)抗網(wǎng)絡(luò)，同時(shí)訓(xùn)練了兩個(gè)“學(xué)徒”——AI書(shū)法學(xué)徒和AI鑒定學(xué)徒來(lái)幫助艾靈學(xué)習(xí)。
首先，AI書(shū)法學(xué)徒通過(guò)提取字形結(jié)構(gòu)等基本信息，捕捉并融入書(shū)法的風(fēng)格韻味;而書(shū)法鑒定學(xué)徒則學(xué)習(xí)成為一個(gè)書(shū)法鑒定師，在對(duì)字帖真跡和AI模擬生成的字體進(jìn)行比較分析之后，反饋兩者的差別及“AI模擬字”的不完善之處，從而進(jìn)一步鞭策書(shū)法學(xué)徒完善模仿能力。
“我是一個(gè)喜歡中國(guó)文化的國(guó)風(fēng)AI……目前還在努力學(xué)習(xí)，立志點(diǎn)亮更多技能，成為全能AI，把中華文明的美好傳遞給更多觀眾!”正如艾靈的自我介紹，騰訊AI Lab打造“AI艾靈”，正是希望用科技與二次元的結(jié)合，做好傳統(tǒng)文化的“傳承者”，讓更多青年人愛(ài)上中華文化。
騰訊AI Lab研究員表示，隨著不斷學(xué)習(xí)，后續(xù)艾靈還將學(xué)會(huì)很多新技能，比如在唱歌方面，團(tuán)隊(duì)正在努力讓艾靈掌握不同的腔調(diào)，還可以學(xué)習(xí)傳統(tǒng)戲曲、不同方言等更多歌唱方式。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
