谷歌翻譯是如何借助多項(xiàng)新興AI技術(shù)提高翻譯質(zhì)量的

網(wǎng)易科技訊6月6日消息，據(jù)國(guó)外媒體報(bào)道，谷歌表示，它已在提高沒(méi)有大量書(shū)面文本語(yǔ)料的語(yǔ)言的翻譯質(zhì)量上取得了進(jìn)展。在一篇即將正式發(fā)表的博客文章中，該公司詳細(xì)介紹了助力提升谷歌翻譯（Google Translate）所支持的108種語(yǔ)言翻譯質(zhì)量的新創(chuàng)新技術(shù)(特別是缺乏語(yǔ)料數(shù)據(jù)的約魯巴語(yǔ)和馬拉雅拉姆語(yǔ))。

谷歌翻譯服務(wù)平均每天翻譯1500億個(gè)單詞。

自谷歌翻譯首次亮相以來(lái)的13年里，神經(jīng)機(jī)器翻譯、基于重寫(xiě)的范式和設(shè)備端處理等技術(shù)的出現(xiàn)和改進(jìn)，助力該平臺(tái)的翻譯準(zhǔn)確性取得不小的飛躍。但直到近年，即便是最先進(jìn)的翻譯支持算法也一直落后于人類的表現(xiàn)。谷歌以外的努力充分說(shuō)明了這個(gè)問(wèn)題的嚴(yán)重性——旨在使得非洲大陸的數(shù)千種語(yǔ)言可自動(dòng)翻譯的Masakhane項(xiàng)目，至今還沒(méi)有走出數(shù)據(jù)收集和轉(zhuǎn)錄階段。Mozilla致力于建立一個(gè)開(kāi)源的語(yǔ)音轉(zhuǎn)錄數(shù)據(jù)收集平臺(tái)Common Voice，自2017年6月推出以來(lái)也只審查了40種語(yǔ)音。

谷歌稱，它在翻譯領(lǐng)域所取得的突破并不是由單一技術(shù)驅(qū)動(dòng)的，而是針對(duì)低資源語(yǔ)言、高資源語(yǔ)言、總體質(zhì)量、延遲和整體推理速度的多項(xiàng)技術(shù)共同作用產(chǎn)生的。在2019年5月到2020年5月之間，根據(jù)人工評(píng)估和BLEU(基于翻譯系統(tǒng)翻譯和人工參考翻譯之間相似性的衡量標(biāo)準(zhǔn))，谷歌翻譯在所有語(yǔ)言中平均提高了5分以上，在50種語(yǔ)料資源最少的語(yǔ)言中平均提高了7分以上。

混合模型和數(shù)據(jù)挖掘器

這些技術(shù)中的第一個(gè)是轉(zhuǎn)換模型架構(gòu)——一種混合架構(gòu)，包括一個(gè)Transformer編碼器和一個(gè)用Lingvo實(shí)現(xiàn)的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)解碼器，后者是一個(gè)用于序列建模的TensorFlow框架。

在機(jī)器翻譯中，編碼器通常將單詞和短語(yǔ)編碼為內(nèi)部表示形式，然后由解碼器生成目標(biāo)語(yǔ)言的文本?；赥ransformer的模型是谷歌研究人員在2017年首次提出的，在這一點(diǎn)上它比RNN更有效，但谷歌表示，它的研究表明，翻譯質(zhì)量的提高主要來(lái)自Transformer的一個(gè)部件:編碼器。這可能是因?yàn)殡m然RNN和Transformer都是為處理有序的數(shù)據(jù)序列而設(shè)計(jì)的，但后者并不要求按順序處理數(shù)據(jù)序列。換句話說(shuō)，如果涉及的數(shù)據(jù)是自然語(yǔ)言，Transformer不必先處理好句子的開(kāi)頭才處理句子的結(jié)尾。

然而，RNN解碼器在推理時(shí)間上仍然比Transformer中的解碼器要“快得多”。谷歌翻譯團(tuán)隊(duì)認(rèn)識(shí)到這一點(diǎn)，于是在將RNN解碼器與Transformer編碼器耦合之前，對(duì)RNN解碼器進(jìn)行了優(yōu)化，以創(chuàng)建低延遲、質(zhì)量及穩(wěn)定性均比此前所使用的RNN神經(jīng)機(jī)器翻譯模型更勝一籌的混合模型。原來(lái)使用的RNN神經(jīng)機(jī)器翻譯模型已有4年歷史。

2006年上線不久以來(lái)，谷歌翻譯模型各種語(yǔ)言的BLEU得分提升趨勢(shì)

除了打造新穎的混合模型架構(gòu)之外，谷歌還升級(jí)了一個(gè)有幾十年歷史的爬蟲(chóng)程序。該程序用來(lái)從文章、書(shū)籍、文檔和網(wǎng)絡(luò)搜索結(jié)果等內(nèi)容中的數(shù)百萬(wàn)條示例翻譯中編制訓(xùn)練語(yǔ)料。該新數(shù)據(jù)挖掘器基于支持14個(gè)語(yǔ)言對(duì)的嵌入模式，而非基于詞典模式，也就是說(shuō)它是使用實(shí)數(shù)向量來(lái)表示單詞和短語(yǔ),更多地聚焦于精確性(檢索數(shù)據(jù)中的相關(guān)數(shù)據(jù)部分)，而非檢索（實(shí)際檢索的相關(guān)數(shù)據(jù)總量）。產(chǎn)出效果方面，谷歌說(shuō)這使得該數(shù)據(jù)挖掘器提取到的句子數(shù)量平均增加了29%。

噪聲數(shù)據(jù)和遷移學(xué)習(xí)

翻譯性能提升的另一來(lái)源是一種建模方法，它能更好地處理訓(xùn)練數(shù)據(jù)中的噪聲。據(jù)觀察，噪聲數(shù)據(jù)(含有大量無(wú)法正確理解或解釋的信息的數(shù)據(jù))會(huì)損害語(yǔ)料數(shù)據(jù)豐富的語(yǔ)言的翻譯質(zhì)量。所以，谷歌翻譯團(tuán)隊(duì)部署系統(tǒng)來(lái)給使用噪聲數(shù)據(jù)訓(xùn)練的模型的示例打分，進(jìn)而篩選出“純凈”的數(shù)據(jù)。實(shí)際上，這些模型一開(kāi)始基于所有的數(shù)據(jù)進(jìn)行訓(xùn)練，然后逐漸基于更小、更純凈的數(shù)據(jù)子集進(jìn)行訓(xùn)練，這種方法在人工智能研究領(lǐng)域被稱為課程學(xué)習(xí)。

對(duì)于資源較少的語(yǔ)言，谷歌在谷歌翻譯中采用了一個(gè)回譯機(jī)制，來(lái)強(qiáng)化并行訓(xùn)練數(shù)據(jù)，即語(yǔ)言中的每個(gè)句子都與其譯文相配對(duì)。(機(jī)器翻譯傳統(tǒng)上依賴于源語(yǔ)言和目標(biāo)語(yǔ)言成對(duì)句子的語(yǔ)料庫(kù)的統(tǒng)計(jì)。)在該機(jī)制中，訓(xùn)練數(shù)據(jù)與合成的并行數(shù)據(jù)自動(dòng)對(duì)齊，目標(biāo)文本為自然語(yǔ)言，而源文本則由神經(jīng)翻譯模型生成。結(jié)果是，谷歌翻譯充分利用更豐富的單語(yǔ)文本數(shù)據(jù)來(lái)訓(xùn)練模型，谷歌稱這對(duì)提高翻譯流暢性特別有幫助。

谷歌地圖自帶的翻譯功能

谷歌翻譯現(xiàn)在還采用M4建模方法，即用一個(gè)單一的巨型模型——M4——來(lái)在多種語(yǔ)言和英語(yǔ)之間進(jìn)行翻譯。(M4最初是在去年的一篇論文中提出的，該論文證明，在基于來(lái)自100多種語(yǔ)言的250億對(duì)句子進(jìn)行訓(xùn)練后，M4提高了30多種低資源語(yǔ)言的翻譯質(zhì)量。)M4建模讓谷歌翻譯中的遷移學(xué)習(xí)成為可能，因此，通過(guò)基于法語(yǔ)、德語(yǔ)、西班牙語(yǔ)等高資源語(yǔ)言(它們有數(shù)十億條并行示例語(yǔ)料)的訓(xùn)練獲得的見(jiàn)解，可以應(yīng)用于低資源語(yǔ)言的翻譯，如約魯巴語(yǔ)、信德語(yǔ)和夏威夷語(yǔ)(它們只有數(shù)萬(wàn)條示例)。

展望未來(lái)

谷歌稱，自2010年以來(lái)，按照BLEU標(biāo)準(zhǔn)（滿分100分，谷歌翻譯水平每年至少提高1分，但自動(dòng)化機(jī)器翻譯的問(wèn)題并沒(méi)有得到解決。谷歌承認(rèn)，即使是它的增強(qiáng)模型，也會(huì)出現(xiàn)各種錯(cuò)誤，如合并一種語(yǔ)言的不同方言，產(chǎn)生明顯的字面翻譯，以及在特定主題內(nèi)容和非正式語(yǔ)言或口語(yǔ)上表現(xiàn)糟糕等等。

這家科技巨頭正想方設(shè)法來(lái)解決這一挑戰(zhàn)，包括借助它的谷歌翻譯社區(qū)。該游戲化項(xiàng)目招募志愿者來(lái)翻譯單詞和短語(yǔ)或者檢查翻譯是否正確，借助他們來(lái)提高低資源語(yǔ)言的翻譯質(zhì)量。就在今年2月，結(jié)合新興的機(jī)器學(xué)習(xí)技術(shù)，該項(xiàng)目為谷歌翻譯增加了對(duì)總共7500萬(wàn)人使用的五種語(yǔ)言的支持，包括基尼亞盧旺達(dá)語(yǔ)、奧里雅語(yǔ)、韃靼語(yǔ)、土庫(kù)曼語(yǔ)和維吾爾語(yǔ)。

谷歌并不是唯一一家追求真正通用的翻譯工具的公司。2018年8月，F(xiàn)acebook公布了一種人工智能模型，該模型結(jié)合使用逐字翻譯、語(yǔ)言模型和回譯來(lái)超越語(yǔ)言配對(duì)系統(tǒng)。最近，麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室的研究人員也提出了一種無(wú)監(jiān)督學(xué)習(xí)模型——一種從沒(méi)有明確標(biāo)記或分類的測(cè)試數(shù)據(jù)中學(xué)習(xí)的模型——它可以在沒(méi)有直接的雙語(yǔ)翻譯數(shù)據(jù)的情況下在兩種語(yǔ)言的文本之間進(jìn)行翻譯。

谷歌在一份聲明中表示，它“非常感謝”學(xué)術(shù)界和產(chǎn)業(yè)界在機(jī)器翻譯領(lǐng)域的研究成果，其中一些研究為谷歌自身的項(xiàng)目帶來(lái)了啟發(fā)?！巴ㄟ^(guò)結(jié)合利用和拓展近期的各種技術(shù)進(jìn)步，我們完成了谷歌翻譯最近的改進(jìn)?！痹摴菊f(shuō)，“經(jīng)過(guò)此次升級(jí)，我們很自豪能夠提供相對(duì)連貫的自動(dòng)翻譯，哪怕是所支持的108種語(yǔ)言中語(yǔ)料資源最少的一種語(yǔ)言?！保?lè)邦）

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。