語音識別揭秘:你的手機究竟有多理解你

在我們的生活中,語言是傳遞信息最重要的方式,它能夠讓人們之間互相了解。人和機器之間的交互也是相同的道理,讓機器人知道人類要做什么、怎么做。交互的方式有動作、文本或語音等等,其中語音交互越來越被重視,因為隨著互聯(lián)網(wǎng)上智能硬件的普及,產(chǎn)生了各種互聯(lián)網(wǎng)的入口方式,而語音是最簡單、最直接的交互方式,是最通用的輸入模式。

在1952年,貝爾研究所研制了世界上第一個能識別10個英文數(shù)字發(fā)音的系統(tǒng)。1960年英國的Denes等人研制了世界上第一個語音識別(ASR)系統(tǒng)。大規(guī)模的語音識別研究始于70年代,并在單個詞的識別方面取得了實質(zhì)性的進展。上世紀80年代以后,語音識別研究的重點逐漸轉(zhuǎn)向更通用的大詞匯量、非特定人的連續(xù)語音識別。

90年代以來,語音識別的研究一直沒有太大進步。但是,在語音識別技術(shù)的應用及產(chǎn)品化方面取得了較大的進展。自2009年以來,得益于深度學習研究的突破以及大量語音數(shù)據(jù)的積累,語音識別技術(shù)得到了突飛猛進的發(fā)展。

深度學習研究使用預訓練的多層神經(jīng)網(wǎng)絡,提高了聲學模型的準確率。微軟的研究人員率先取得了突破性進展,他們使用深層神經(jīng)網(wǎng)絡模型后,語音識別錯誤率降低了三分之一,成為近20年來語音識別技術(shù)方面最快的進步。

另外,隨著手機等移動終端的普及,多個渠道積累了大量的文本語料或語音語料,這為模型訓練提供了基礎(chǔ),使得構(gòu)建通用的大規(guī)模語言模型和聲學模型成為可能。在語音識別中,豐富的樣本數(shù)據(jù)是推動系統(tǒng)性能快速提升的重要前提,但是語料的標注需要長期的積累和沉淀,大規(guī)模語料資源的積累需要被提高到戰(zhàn)略高度。

今天,語音識別在移動端和音箱的應用上最為火熱,語音聊天機器人、語音助手等軟件層出不窮。許多人初次接觸語音識別可能歸功于蘋果手機的語音助手Siri。

Siri技術(shù)來源于美國國防部高級研究規(guī)劃局(DARPA)的CALO計劃:初衷是一個讓軍方簡化處理繁重復雜的事務,并具備認知能力進行學習、組織的數(shù)字助理,其民用版即為Siri虛擬個人助理。

Siri公司成立于2007年,最初是以文字聊天服務為主,之后與大名鼎鼎的語音識別廠商Nuance合作實現(xiàn)了語音識別功能。2010年,Siri被蘋果收購。2011年蘋果將該技術(shù)隨同iPhone 4S發(fā)布,之后對Siri的功能仍在不斷提升完善?,F(xiàn)在,Siri成為蘋果iPhone上的一項語音控制功能,可以讓手機變身為一臺智能化機器人。通過自然語言的語音輸入,可以調(diào)用各種APP,如天氣預報、地圖導航、資料檢索等,還能夠通過不斷學習改善性能,提供對話式的應答服務。

語音識別(ASR)原理

語音識別技術(shù)是讓機器通過識別把語音信號轉(zhuǎn)變?yōu)槲谋荆M而通過理解轉(zhuǎn)變?yōu)橹噶畹募夹g(shù)。目的就是給機器賦予人的聽覺特性,聽懂人說什么,并作出相應的行為。語音識別系統(tǒng)通常由聲學識別模型和語言理解模型兩部分組成,分別對應語音到音節(jié)和音節(jié)到字的計算。一個連續(xù)語音識別系統(tǒng)(如下圖)大致包含了四個主要部分:特征提取、聲學模型、語言模型和解碼器等。

(1)語音輸入的預處理模塊

對輸入的原始語音信號進行處理,濾除掉其中的不重要信息以及背景噪聲,并進行語音信號的端點檢測(也就是找出語音信號的始末)、語音分幀(可以近似理解為,一段語音就像是一段視頻,由許多幀的有序畫面構(gòu)成,可以將語音信號切割為單個的“畫面”進行分析)等處理。

(2)特征提取

在去除語音信號中對于語音識別無用的冗余信息后,保留能夠反映語音本質(zhì)特征的信息進行處理,并用一定的形式表示出來。也就是提取出反映語音信號特征的關(guān)鍵特征參數(shù)形成特征矢量序列,以便用于后續(xù)處理。

(3)聲學模型訓練

聲學模型可以理解為是對聲音的建模,能夠把語音輸入轉(zhuǎn)換成聲學表示的輸出,準確的說,是給出語音屬于某個聲學符號的概率。根據(jù)訓練語音庫的特征參數(shù)訓練出聲學模型參數(shù)。在識別時可以將待識別的語音的特征參數(shù)與聲學模型進行匹配,得到識別結(jié)果。目前的主流語音識別系統(tǒng)多采用隱馬爾可夫模型HMM進行聲學模型建模。

(4)語言模型訓練

語言模型是用來計算一個句子出現(xiàn)概率的模型,簡單地說,就是計算一個句子在語法上是否正確的概率。因為句子的構(gòu)造往往是規(guī)律的,前面出現(xiàn)的詞經(jīng)常預示了后方可能出現(xiàn)的詞語。它主要用于決定哪個詞序列的可能性更大,或者在出現(xiàn)了幾個詞的時候預測下一個即將出現(xiàn)的詞語。它定義了哪些詞能跟在上一個已經(jīng)識別的詞的后面(匹配是一個順序的處理過程),這樣就可以為匹配過程排除一些不可能的單詞。

語言建模能夠有效的結(jié)合漢語語法和語義的知識,描述詞之間的內(nèi)在關(guān)系,從而提高識別率,減少搜索范圍。對訓練文本數(shù)據(jù)庫進行語法、語義分析,經(jīng)過基于統(tǒng)計模型訓練得到語言模型。

(5)語音解碼和搜索算法

解碼器是指語音技術(shù)中的識別過程。針對輸入的語音信號,根據(jù)己經(jīng)訓練好的HMM聲學模型、語言模型及字典建立一個識別網(wǎng)絡,根據(jù)搜索算法在該網(wǎng)絡中尋找最佳的一條路徑,這個路徑就是能夠以最大概率輸出該語音信號的詞串,這樣就確定這個語音樣本所包含的文字了。所以,解碼操作即指搜索算法,即在解碼端通過搜索技術(shù)尋找最優(yōu)詞串的方法。

連續(xù)語音識別中的搜索,就是尋找一個詞模型序列以描述輸入語音信號,從而得到詞解碼序列。搜索所依據(jù)的是對公式中的聲學模型打分和語言模型打分。在實際使用中,往往要依據(jù)經(jīng)驗給語言模型加上一個高權(quán)重,并設置一個長詞懲罰分數(shù)。

語音識別本質(zhì)上是一種模式識別的過程,未知語音的模式與已知語音的參考模式逐一進行比較,最佳匹配的參考模式被作為識別結(jié)果。當今語音識別技術(shù)的主流算法,主要有基于動態(tài)時間規(guī)整(DTW)算法、基于非參數(shù)模型的矢量量化(VQ)方法、基于參數(shù)模型的隱馬爾可夫模型(HMM)的方法、以及近年來基于深度學習和支持向量機等語音識別方法。

站在巨人的肩膀上:開源框架

目前開源世界里提供了多種不同的語音識別工具包,為開發(fā)者構(gòu)建應用提供了很大幫助。但這些工具各有優(yōu)劣,需要根據(jù)具體情況選擇使用。下表為目前相對流行的工具包間的對比,大多基于傳統(tǒng)的 HMM 和N-Gram 語言模型的開源工具包。

對于普通用戶而言,大多數(shù)人都會知道 Siri 或 Cortana 這樣的產(chǎn)品。而對于研發(fā)工程師來說,更靈活、更具專注性的解決方案更符合需求,很多公司都會研發(fā)自己的語音識別工具。

(1)CMU Sphinix是卡內(nèi)基梅隆大學的研究成果。已有 20 年歷史了,在 Github和 SourceForge上都已經(jīng)開源了,而且兩個平臺上都有較高的活躍度。

(2)Kaldi 從 2009 年的研討會起就有它的學術(shù)根基了,現(xiàn)在已經(jīng)在 GitHub上開源,開發(fā)活躍度較高。

(3)HTK 始于劍橋大學,已經(jīng)商用較長時間,但是現(xiàn)在版權(quán)已經(jīng)不再開源軟件了。它的最新版本更新于 2015 年 12 月。

(4)Julius起源于 1997 年,最后一個主版本發(fā)布于2016 年 9 月,主要支持的是日語。

(5)ISIP 是第一個最新型的開源語音識別系統(tǒng),源于密西西比州立大學。它主要發(fā)展于 1996 到 1999 年間,最后版本發(fā)布于 2011 年,遺憾的是,這個項目已經(jīng)不復存在。

語音識別技術(shù)研究難點

目前,語音識別研究工作進展緩慢,困難具體表現(xiàn)在:

(1)輸入無法標準統(tǒng)一

比如,各地方言的差異,每個人獨有的發(fā)音習慣等,如下圖所示,口腔中元音隨著舌頭部位的不同可以發(fā)出多種音調(diào),如果組合變化多端的輔音,可以產(chǎn)生大量的、相似的發(fā)音,這對語音識別提出了挑戰(zhàn)。除去口音參差不齊,輸入設備不統(tǒng)一也導致了語音輸入的不標準。

(2)噪聲的困擾

噪聲環(huán)境的各類聲源處理是目前公認的技術(shù)難題,機器無法從各層次的背景噪音中分辨出人聲,而且,背景噪聲千差萬別,訓練的情況也不能完全匹配真實環(huán)境。因而,語音識別在噪聲中比在安靜的環(huán)境下要難得多。

目前主流的技術(shù)思路是,通過算法提升降低誤差。首先,在收集的原始語音中,提取抗噪性較高的語音特征。然后,在模型訓練的時候,結(jié)合噪聲處理算法訓練語音模型,使模型在噪聲環(huán)境里的魯棒性較高。最后,在語音解碼的過程中進行多重選擇,從而提高語音識別在噪聲環(huán)境中的準確率。完全消除噪聲的干擾,目前而言,還停留在理論層面。

(3)模型的有效性

識別系統(tǒng)中的語言模型、詞法模型在大詞匯量、連續(xù)語音識別中還不能完全正確的發(fā)揮作用,需要有效地結(jié)合語言學、心理學及生理學等其他學科的知識。并且,語音識別系統(tǒng)從實驗室演示系統(tǒng)向商品的轉(zhuǎn)化過程中還有許多具體細節(jié)技術(shù)問題需要解決。

智能語音識別系統(tǒng)研發(fā)方向

今天,許多用戶已經(jīng)能享受到語音識別技術(shù)帶來的方便,比如智能手機的語音操作等。但是,這與實現(xiàn)真正的人機交流還有相當遙遠的距離。目前,計算機對用戶語音的識別程度不高,人機交互上還存在一定的問題,智能語音識別系統(tǒng)技術(shù)還有很長的一段路要走,必須取得突破性的進展,才能做到更好的商業(yè)應用,這也是未來語音識別技術(shù)的發(fā)展方向。

在語音識別的商業(yè)化落地中,需要內(nèi)容、算法等各個方面的協(xié)同支撐,但是良好的用戶體驗是商業(yè)應用的第一要素,而識別算法是提升用戶體驗的核心因素。目前語音識別在智能家居、智能車載、智能客服機器人方面有廣泛的應用,未來將會深入到學習、生活、工作的各個環(huán)節(jié)。許多科幻片中的場景正在逐步走入我們的平常生活。

本期福利:近日,蘇寧金融研究院發(fā)布了《中國居民消費升級報告(2019)》,讀者可在“蘇寧財富資訊”公眾號后臺回復“2019消費升級”,獲得網(wǎng)盤鏈接和提取碼~

編輯:陳霞 汪華嬙

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2019-12-12
語音識別揭秘:你的手機究竟有多理解你
在我們的生活中,語言是傳遞信息最重要的方式,它能夠讓人們之間互相了解。人和機器之間的交互也是相同的道理,讓機器人知道人類要做什么、怎么做。

長按掃碼 閱讀全文