人工智能之馬爾可夫模型(MM)

這里“MM”-馬爾可夫模型,不是跟中國網(wǎng)絡(luò)俗語“美眉”有關(guān),而是跟俄國的“老司機(jī)”馬爾可夫有關(guān)。

這位“老司機(jī)”全名叫安德雷·安德耶維齊·馬爾可夫(Андрей Андреевич Марков),是俄國數(shù)學(xué)家。1874年18歲的馬爾可夫考入圣彼得堡大學(xué),師從切比雪夫(另一位俄國“老司機(jī)”,著名的切比雪夫定理-概率論與數(shù)理統(tǒng)計(jì)的基礎(chǔ)),物理-數(shù)學(xué)博士,畢業(yè)后留校任教,圣彼得堡大學(xué)教授,圣彼得堡科學(xué)院院士。在概率論、數(shù)論、函數(shù)逼近論和微分方程等方面卓有成就。

人工智能之馬爾可夫模型(MM)

馬爾可夫模型概述:

馬爾可夫模型MM(MarkovModel)是一種統(tǒng)計(jì)模型。它的原始模型馬爾可夫鏈,由俄國數(shù)學(xué)家馬爾可夫于1906年提出,將此一般化到可數(shù)無限狀態(tài)空間是由柯爾莫果洛夫在1936年給出的。馬爾可夫鏈?zhǔn)桥c馬爾可夫過程緊密相關(guān)。馬爾可夫過程是研究離散事件動(dòng)態(tài)系統(tǒng)狀態(tài)空間的重要方法,它的數(shù)學(xué)基礎(chǔ)是隨機(jī)過程理論。

人工智能之馬爾可夫模型(MM)

馬爾可夫性質(zhì):

人工智能之馬爾可夫模型(MM)

此性質(zhì)稱為馬爾可夫性質(zhì)(Markov Property),亦稱無后效性或無記憶性。

若X(t)為離散型隨機(jī)變量,則馬爾可夫性亦滿足等式。

人工智能之馬爾可夫模型(MM)

馬爾可夫過程:

若隨機(jī)過程{X(t), t屬于T}滿足馬爾可夫性質(zhì),則稱為馬爾可夫過程。

比如,荷花池中一只青蛙的跳躍,液體中微粒所作的布朗運(yùn)動(dòng),傳染病受感染的人數(shù),原子核中一自由電子在電子層中的跳躍,人口增長過程、闖迷宮的老鼠等都可視為馬爾可夫過程。

人工智能之馬爾可夫模型(MM)

常見馬爾可夫過程

(1)獨(dú)立隨機(jī)過程為馬爾可夫過程。

(2)獨(dú)立增量過程為馬爾可夫過程。

(3)泊松過程為馬爾可夫過程。

(4)維納過程為馬爾可夫過程。

(5)質(zhì)點(diǎn)隨機(jī)游動(dòng)過程為馬爾可夫過程。

樸素貝葉斯、支持向量機(jī)等機(jī)器學(xué)習(xí)算法不同,馬爾可夫過程不必給處理的數(shù)據(jù)打標(biāo)簽。馬爾可夫過程更側(cè)重于處理控制或決策問題。

馬爾可夫過程用于預(yù)測基本步驟:首先確定系統(tǒng)狀態(tài),然后確定狀態(tài)之間轉(zhuǎn)移概率,再進(jìn)行預(yù)測,并對(duì)預(yù)測結(jié)果進(jìn)行分析-若結(jié)果合理,則可提交預(yù)測報(bào)告,否則需檢查系統(tǒng)狀態(tài)及狀態(tài)轉(zhuǎn)移概率是否正確。

人工智能之馬爾可夫模型(MM)

馬爾可夫鏈:

馬爾可夫鏈MC(Markov Chain)是指數(shù)學(xué)中具有馬爾可夫性質(zhì)的離散事件隨機(jī)過程。該過程中,在給定當(dāng)前知識(shí)或信息的情況下,過去對(duì)于預(yù)測將來是無關(guān)的。在馬爾可夫鏈的每一步,系統(tǒng)根據(jù)概率分布,可以從一個(gè)狀態(tài)變到另一個(gè)狀態(tài),也可以保持當(dāng)前狀態(tài)。狀態(tài)的改變叫做轉(zhuǎn)移,與不同的狀態(tài)改變相關(guān)的概率叫做轉(zhuǎn)移概率。

時(shí)間和狀態(tài)都離散的馬爾可夫過程成為馬爾可夫鏈MC。

人工智能之馬爾可夫模型(MM)

馬爾可夫鏈原理:

馬爾可夫鏈MC描述了一種狀態(tài)序列,其每個(gè)狀態(tài)值取決于前面有限個(gè)狀態(tài)。馬爾可夫鏈?zhǔn)蔷哂旭R爾可夫性質(zhì)的隨機(jī)變量的一個(gè)數(shù)列。這些變量的范圍,即它們所有可能取值的集合,被稱為“狀態(tài)空間”,而的值則是在時(shí)間n的狀態(tài)。

馬爾可夫鏈?zhǔn)桥c馬爾可夫過程緊密相關(guān)。運(yùn)用馬爾可夫鏈只需要最近或現(xiàn)在的動(dòng)態(tài)資料便可預(yù)測將來。

人工智能之馬爾可夫模型(MM)

馬爾可夫鏈性質(zhì):

馬爾可夫鏈MC具有以下性質(zhì):

1)正定性:狀態(tài)轉(zhuǎn)移矩陣中的每一個(gè)元素被稱為狀態(tài)轉(zhuǎn)移概率,由概率論知識(shí)可知,每個(gè)狀態(tài)轉(zhuǎn)移概率皆為正數(shù),用公式即可表示為:

人工智能之馬爾可夫模型(MM)

2)有限性:由概率論知識(shí)知,狀態(tài)轉(zhuǎn)移陣中的每一行狀態(tài)轉(zhuǎn)移陣中每行相加皆為1,用公式可表示為:

人工智能之馬爾可夫模型(MM)

馬爾可夫序列分類器:

序列分類器或序列標(biāo)號(hào)器是給序列中的某個(gè)單元指派類或者標(biāo)號(hào)的模型。諸如:詞類標(biāo)注、語音識(shí)別、句子切分、字素音位轉(zhuǎn)換、局部句法剖析、語塊分析、命名實(shí)體識(shí)別、信息抽取都屬于序列分類。

馬爾可夫序列分類器為:

1)顯馬爾可夫模型(VMM),又叫馬爾可夫模型MM。

2)隱馬爾可夫模型(HMM),描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過程,是一個(gè)雙重隨機(jī)過程(包括馬爾可夫鏈和一般隨機(jī)過程)。

人工智能之馬爾可夫模型(MM)

馬爾可夫模型應(yīng)用:

馬爾可夫模型廣泛應(yīng)用在語音識(shí)別,詞性自動(dòng)標(biāo)注,音字轉(zhuǎn)換,概率文法等各個(gè)自然語言處理、算術(shù)編碼、地理統(tǒng)計(jì)學(xué)、企業(yè)產(chǎn)品市場預(yù)測、人口過程、生物信息學(xué)(編碼區(qū)域或基因預(yù)測)等應(yīng)用領(lǐng)域。經(jīng)過長期發(fā)展,尤其是在語音識(shí)別中的成功應(yīng)用,使它成為一種通用的統(tǒng)計(jì)工具。

1)狀態(tài)統(tǒng)計(jì)建模:馬爾可夫鏈通常用來建模排隊(duì)理論和統(tǒng)計(jì)學(xué)中的建模。還可作為信號(hào)模型用于熵編碼技術(shù)等。馬爾科夫鏈預(yù)測法是一種適用于隨機(jī)過程的科學(xué)、有效的動(dòng)態(tài)預(yù)測方法。馬爾可夫鏈有眾多的生物學(xué)應(yīng)用,特別是人口過程,可以幫助模擬生物人口過程的建模。

2)隱蔽馬爾可夫模型(HMM)還被用于生物信息學(xué),用以編碼區(qū)域或基因預(yù)測。1980年代后半期,HMM開始應(yīng)用到生物序列尤其是DNA的分析中。此后,在生物信息學(xué)領(lǐng)域HMM逐漸成為一項(xiàng)不可或缺的技術(shù)。到目前為止,隱馬爾可夫模型(HMM)一直被認(rèn)為是實(shí)現(xiàn)快速精確的語音識(shí)別系統(tǒng)的最成功的方法。復(fù)雜的語音識(shí)別問題通過隱含馬爾可夫模型能非常簡單地被表述、解決,讓人們由衷地感嘆數(shù)學(xué)模型之妙。

人工智能之馬爾可夫模型(MM)

3)馬爾科夫鏈蒙特卡羅方法(Markov Chain Monte Carlo)方法: 馬爾科夫鏈蒙特卡羅MCMC是在樸素貝葉斯[請(qǐng)參見公眾號(hào)“科技優(yōu)化生活”之人工智能(29)]論框架下,通過計(jì)算機(jī)進(jìn)行模擬的蒙特卡羅方法[請(qǐng)參見公眾號(hào)“科技優(yōu)化生活”之人工智能(31)],該方法將馬爾科夫鏈(MC)引入到蒙特卡羅(MC)模擬中,實(shí)現(xiàn)隨著抽樣分布隨機(jī)模擬的進(jìn)行而改變的動(dòng)態(tài)模擬,彌補(bǔ)了傳統(tǒng)的蒙特卡羅積分只能靜態(tài)模擬的缺陷,是近年來廣泛應(yīng)用的統(tǒng)計(jì)計(jì)算方法。

人工智能之馬爾可夫模型(MM)

結(jié)語:

馬爾可夫模型(Markov Model)是一種統(tǒng)計(jì)模型。它的原始模型馬爾可夫鏈,由俄國數(shù)學(xué)家馬爾可夫于1906年提出。運(yùn)用馬爾可夫鏈只需要最近或現(xiàn)在的動(dòng)態(tài)資料便可預(yù)測將來。馬爾可夫鏈?zhǔn)桥c馬爾可夫過程緊密相關(guān)。馬爾可夫過程是研究離散事件動(dòng)態(tài)系統(tǒng)狀態(tài)空間的重要方法,它的數(shù)學(xué)基礎(chǔ)是隨機(jī)過程理論。馬爾可夫模型在及人工智能之自然語言處理等領(lǐng)域應(yīng)用廣泛。

原創(chuàng) 張志榮

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2018-05-08
人工智能之馬爾可夫模型(MM)
這里“MM”-馬爾可夫模型,不是跟中國網(wǎng)絡(luò)俗語“美眉”有關(guān),而是跟俄國的“老司機(jī)”馬爾可夫有關(guān)。

長按掃碼 閱讀全文