語言識別模型源于一個數(shù)學(xué)家讀小說的故事。

1913 年，俄羅斯數(shù)學(xué)家安德雷 · 安德耶維齊 · 馬爾科夫拿起一本俄羅斯文學(xué)的經(jīng)典作品，亞歷山大 · 普希金的歌劇小說。不過馬爾科夫只是為了測試自 1909 年發(fā)展起來的概率論。數(shù)學(xué)家更想看到一個個字母后面的數(shù)學(xué)結(jié)構(gòu)。那時的概率論主要用來分析輪盤賭局和硬幣翻轉(zhuǎn)等現(xiàn)象，認(rèn)為之前的結(jié)果不會影響到的當(dāng)前事件的可能性。但是馬爾科夫不贊同，他覺得大多數(shù)事情都有因果關(guān)系，他想要通過概率分析一些事情，并建立模型。

德雷 · 安德耶維齊 · 馬爾科夫

成為馬爾科夫的試驗材料。他的假設(shè)聽上去匪夷所思——這本經(jīng)典文學(xué)作品中，某個位置會出現(xiàn)什么字母，某種程度上取決于它之前的字母。

計算機還沒出現(xiàn)的 1913，馬爾科夫抄錄了書中的前 20000 個字母，不包括標(biāo)點和空格。然后按 10*10 的排列方式，填在 200 個網(wǎng)格中，開始逐行逐列對元音字母進行計數(shù)。統(tǒng)計完發(fā)現(xiàn)，43% 的字母是元音，57% 是輔音。馬爾科夫還將這些字母分成成對的元音和輔音組合，結(jié)果是：1104 個元音對、3827 個輔音對、15069 個元音 - 輔音和輔音 - 元音對。從統(tǒng)計學(xué)看，這證明，在普希金文本中的任何給定字母，如果是元音，則下一字母可能是輔音，反之亦然。

馬爾科夫用這個結(jié)果證明的文本不是字母的隨機分布，而是具有可以建模的基本統(tǒng)計的性質(zhì)。后來，人們稱馬爾科夫這是給自己的數(shù)學(xué)技能找到一個實際用途——用鏈模型來模擬俄羅斯文學(xué)中輔音和元音的頭韻法。

鏈模型就是馬爾科夫鏈，又稱離散時間馬爾科夫鏈，指在狀態(tài)空間中，從一個狀態(tài)轉(zhuǎn)換到另一個狀態(tài)的隨機過程，該過程是 “無記憶”性質(zhì)的，下一狀態(tài)的概率分布只能由當(dāng)前狀態(tài)決定。馬爾科夫在隨機過程領(lǐng)域的研究成果還有馬爾科夫決策過程，它提供面對部分隨機、部分可由人類決策的狀態(tài)下，如何進行決策，經(jīng)過演化，被廣泛應(yīng)用在機器人學(xué)、自動化控制等領(lǐng)域。在馬爾科夫鏈衍和馬爾科夫決策過程理論基礎(chǔ)上，20 世紀(jì) 60 年代，Leonard E. Baum 和其它一些作者描述了一種隱性馬爾科夫模型，這是大多數(shù)現(xiàn)在自動語音識別系統(tǒng)的基礎(chǔ)。

維基百科上有一個事例來解釋隱形馬爾科夫模型。

假設(shè)你有一個住的很遠的朋友，他會每天打電話說當(dāng)天做了什么。他只會做三件事：公園散步、購物、清理房間，他根據(jù)天氣選擇做什么事。你不知道他住處每天的天氣怎么樣，但是你知道總趨勢，在他告訴你每天做了什么事情的基礎(chǔ)上，你要猜測他所在地的天氣狀況。

也就是說，在這個隱形馬爾科夫模型中，“雨”和 “晴”的狀態(tài)對你來說是隱藏的，可觀察的數(shù)據(jù)就是 “公園散步”、“購物”、“清理房間”，那么用 Python 寫下來就是：

 states = ('Rainy', 'Sunny')
 
 observations = ('walk', 'shop', 'clean')
 
 start_probability = {'Rainy': 0.6, 'Sunny': 0.4}
 
 transition_probability = {
    'Rainy' : {'Rainy': 0.7, 'Sunny': 0.3},
    'Sunny' : {'Rainy': 0.4, 'Sunny': 0.6},
    }
 
 emission_probability = {
    'Rainy' : {'walk': 0.1, 'shop': 0.4, 'clean': 0.5},
    'Sunny' : {'walk': 0.6, 'shop': 0.3, 'clean': 0.1},
    }

在這些代碼中，start_probability 代表第一次打電話的不確定性，此時概率分布不平均。transition_probability 表示基于馬爾科夫鏈模型的天氣變遷。emission_probability 表示了你朋友每天做某件事的概率。

再以語音系統(tǒng)為例，隱形馬爾科夫模型在語音處理上，可以通過隱藏條件猜測下一個音，具體可從語義和發(fā)音兩方面看。一是單字的發(fā)音有前后關(guān)系，如英語中的 "They are" 常常發(fā)音成 "They're"，或是"Did you"會因為"you"的發(fā)音受"did"的影響，常常發(fā)音成"did ju"。語音識別需要考慮到每個音節(jié)的前后關(guān)系，才能有較高的準(zhǔn)確率。二是，句子中的前后字節(jié)間的關(guān)系，比如英文中動詞后常接固定介詞或?qū)?yīng)名詞，中文也類似。

當(dāng)然，從馬爾科夫數(shù)字母，到隱性馬爾科夫模型的提出，再到語言識別、生成模型應(yīng)用，期間還有很多人提出了各種各樣的理論。其中影響比較大的是信息論創(chuàng)造者克勞德 · 艾爾伍德 · 香農(nóng)。

香農(nóng)對馬爾科夫數(shù)字母背后的思想很是著迷，像馬爾科夫一樣，香農(nóng)嘗試建立語言的統(tǒng)計模型，通過統(tǒng)計規(guī)則生成文本。

香農(nóng)最初的實驗，通過 26 個字母加 1 個空格，共計 27 個符號，隨機抽取字母生成句子，每個字母概率相同，得到：

XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD

香農(nóng)說生成的這句話毫無意義，因為當(dāng)我們交流時，不會選擇同等概率的字母組合。正如馬爾科夫的實驗表明，輔音比元音更可能出現(xiàn)。但是在更高的粒度上，E 比 S 更普遍，S 比 Q 更普遍。為了解決這個問題，香農(nóng)修改了原始實驗字母，使其更精確模擬英語中每個字母出現(xiàn)的概率。比如 E 出現(xiàn)的概率比 Q 高 11%，這樣得出一個新的結(jié)果，更接近一個正確的句子：

OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA THEI EEI ALHENHTTPA OOBTTVA NAH BRL

在之后的系列實驗中，香農(nóng)證明了，隨著統(tǒng)計模型變得更加復(fù)雜，可以得到更容易理解的結(jié)果。

馬爾科夫和香農(nóng)的實驗，被看做是對語言的統(tǒng)計屬性進行建模提供了一種新的思路，他們的語言建模和生成的統(tǒng)計方法為自然語言處理開創(chuàng)了一個新的時代。