Meta推出無縫溝通AI翻譯模型

12月4日消息(郭睿琦)今年 8 月,Meta 公司推出了其多模態(tài)人工智能翻譯模型 SeamlessM4T,該模型支持近 100 種語言的文本和 36 種語言的語音?,F(xiàn)在該模型更新了“v2”架構(gòu),Meta 將其稱之為“Seamless Communication(無縫溝通)”模型,能夠讓對話翻譯更加自然和富有表現(xiàn)力。

兩個新功能中的第一個是“SeamlessExpressive”,顧名思義,該功能可以將你的語氣轉(zhuǎn)移到翻譯后的語音中,包括音調(diào)、音量、情感色彩(興奮、悲傷或低語)、語速和停頓??紤]到目前翻譯后的語音一般聽起來都很機械,這一突破還是非常值得期待的,無論是在我們的日常生活中還是在內(nèi)容制作中,都有很大的幫助。目前其支持的語言包括英語、西班牙語、德語、法語、意大利語和中文,不過在IT之家撰寫本文時,演示頁面缺少意大利語和中文。

第二個功能是“SeamlessStreaming”,可以在說話者仍在講話時開始翻譯,從而讓其他人更快地聽到翻譯。雖然仍有不到兩秒鐘的短暫延遲,但至少不必等到對方說完一個句子。據(jù) Meta 公司稱,最大的挑戰(zhàn)在于不同語言有不同的句子結(jié)構(gòu),因此他們必須開發(fā)一個專門的算法來研究部分音頻輸入,以決定是否有足夠的上下文開始生成翻譯輸出,或者是否繼續(xù)傾聽。

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2023-12-04
Meta推出無縫溝通AI翻譯模型
帶來更自然的跨語言對話體驗

長按掃碼 閱讀全文