在 Google I/O 2018 上，除了 Google 助手給餐館打電話的場景贏得現場觀眾的喝彩外，在用戶寫郵件時可預測下一句的 Smart Compose 技術同樣也引得眾人歡呼。近期，谷歌大腦團隊首席軟件工程師 Yonghui Wu 在 Google AI Po 出了這篇詳細介紹 Smart Compose 原理的博文。

Google I/O 2018 上，谷歌介紹了 Gmail 中的一項新特性，智能預測拼寫功能：Smart Compose，該新特性利用機器學習，交互式地為正在寫郵件的用戶提供補全句子的預測建議，從而讓用戶更快地撰寫郵件。Smart Compose 基于此前智能回復(Smart Reply)技術開發(fā)而來，Smart Compose 提供了全新的方式來幫助用戶撰寫郵件，無論用戶是在回一封來件還是從草稿箱起草一封新郵件。

谷歌在開發(fā) Smart Compose 的過程中，遭遇到了以下這些關鍵挑戰(zhàn)：

延遲：因為 Smart Compose 需基于用戶的每一次輸入來提供預測，所以它必須提供 100 毫秒以內的理想預測，這樣用戶才察覺不到任何延遲。這時候，平衡模型復雜性和推理速度就成了一個需要解決的關鍵難題。

用戶規(guī)模：Gmail 擁有超過 14 億的各種用戶。為了面向所有用戶提供自動組句預測，模型必須擁有足夠強的建模能力，這樣它才能精細地在不同上下文中提供定制建議。

公平性和用戶隱私：在 Smart Compose 的開發(fā)過程中，谷歌需要在訓練過程中處理潛在偏倚的來源，并遵守像 Smart Reply 功能一樣嚴格的用戶隱私標準，以確保模型不會暴露用戶的隱私信息。另外，谷歌的研究人員也不具備查看用戶郵件的權限，這意味著他們不得不在一個自己都無法查看的數據集上開發(fā)和訓練一個機器學習系統(tǒng)。

找到對的模型

比如 ngram，neural bag-of-words(BoW)和 RNN language 這種典型的語言生成模型，它們是基于前綴詞序列來預測下一個詞的。然而，在一封郵件中，用戶在當前郵件撰寫會話中打下的單詞會給模型一個信號，模型會利用該信號來預測下一個單詞。為了結合更多用戶想表達的上下文，谷歌的模型還會利用郵件主題和此前的郵件正文(假設用戶正在回復一封剛剛收到的郵件)。

谷歌的方法是包含利用額外語境的一個方法，該方法是將問題轉換成一個序列到序列(seq2seq)的機器翻譯任務，其中源序列是郵件主題和上封郵件正文(假設存在上封郵件)的串聯，用戶正在寫的郵件是目標序列。盡管該方法在預測質量上表現良好，但它的延遲要比谷歌嚴苛的延遲標準超出了好幾個量級

為了提高預測質量，谷歌將一個 RNN-LM 神經網絡與一個 BoW 模型結合起來，結合后的模型在速度上比 seq2seq 模型要快，且只輕微犧牲了預測質量。在該混合算法中，谷歌通過把詞嵌套們平均分配在每個區(qū)域內，來對郵件主題和此前的郵件內容進行編碼。隨后谷歌將這些平均分配后的嵌套連接在一起，并在每次執(zhí)行解碼步驟時將它們提供給目標序列 RNN-LM，過程如下面的模型圖解。

Smart Compose RNN-LM 模型架構。將郵件主題和此前郵件信息進行編碼，采用的方法是將它們的詞嵌套平均分配在每一個區(qū)域內。隨后，平均后的嵌套會在每次執(zhí)行解碼步驟時提供給目標序列 RNN-LM。加速模型訓練和服務

當然，一旦選定了這種建模方法，谷歌就必須調整各種模型超參數和使用超過數十億的樣本來訓練這些模型，所有的這些操作都相當費時。為了實現加速，谷歌使用了一個完整 TPUv2 Pod 來執(zhí)行實驗。在這情況下，谷歌能夠在一天之內將一個模型訓練至收斂狀態(tài)。

在谷歌訓練出速度上更快的混合模型之后，初始版本的 Smart Compose 在一個標準 CPU 上運行時，依舊存在幾百毫秒的平均服務延遲，這與 Smart Compose 努力預測語句來幫用戶節(jié)省時間的特點是不相符的。幸運的是，谷歌可在推斷期間使用 TPU 來大大地加速用戶體驗，通過分流 TPU 之上的大部分計算，谷歌可以將平均延遲改良至幾十毫秒，同時也能大大增加單一機器可處理的服務請求數量。

公平性和隱私

由于語言理解模型會反映人類的認知偏倚，這樣會導致得到多余的詞匯聯想和句子完成建議，所以在機器學習內實現公平至關重要。Caliskan et al. 在他們近期的「Semantics derived automatically from language corpora contain human-like biases」論文中指出，模型的詞聯想深陷于自然語言數據的偏倚數據中，這為打造任何一個語言模型都帶來了相當的挑戰(zhàn)。在模型訓練過程中，谷歌積極地尋找方法來持續(xù)降低潛在的偏倚。另外，由于 Smart Compose 是基于數十億的短語和句子進行訓練，這與垃圾郵件機器學習模型的訓練方法一致，谷歌已經進行了廣泛的測試來確保，模型只記憶多種用戶都使用的常識語句，關于常識語句的調查結果源自這篇論文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets(https://arxiv.org/abs/1802.08232)。

未來研究

谷歌將持續(xù)地研究改良語言生成模型的預測質量，為此谷歌會通過使用最先進的構架(如 Transformer，RNMT+等)和試用最新、最先進的訓練技術來實現這一目標。一旦模型的實驗結果滿足了谷歌的嚴格延遲約束條件，谷歌就會把這些更加的先進模型部署到自家產品上去。另外，谷歌還在進行結合個人語言模型的研究，該模型的目的是給系統(tǒng)增加一個新特性，讓它能夠更加準確地模擬每個用戶自己的寫作風格。