▲ 第一列為研究人員為模型提供的半張圖片，中間是模型自動補全的完整圖像，最后一列是原始圖像

我們都知道，對于機器學習來說，無監(jiān)督學習或沒有人為標簽的數(shù)據(jù)學習長期以來都是一項不小的挑戰(zhàn)。最近，在語言上，機器學習已經(jīng)取得了一些值得稱贊的成就，如BERT、GPT-2、RoBERTa、T5等，但是，這類模型尚未成功產(chǎn)生用于圖像分類的功能。

不過，也正是由于BERT和GPT-2這類模型與領域無關，它們可以直接應用于任何形式的一維序列。比如在圖像領域，當在展開為長像素序列的圖像上訓練GPT-2時，研究人員就發(fā)現(xiàn)，該模型似乎可以理解二維圖像特征，例如外觀和類別。即使在沒有人工提供標簽的指導下，生成的相干圖像樣本的范圍也足以證明。同時，該模型的功能可以在許多分類數(shù)據(jù)集上實現(xiàn)最新性能，也就是說，具有最新的無監(jiān)督準確性。

為了突出生成序列模型作為通用無監(jiān)督學習算法的潛力，OpenAI故意在語言上使用與GPT-2相同的transformer架構。研究人員也就需要更多的計算產(chǎn)生與頂級無監(jiān)督卷積網(wǎng)絡相競爭的特性，結果表明，當面對一個正確的模型先驗未知的新領域時，GPT-2可以學習優(yōu)秀的特性，而不需要特定領域的架構設計選擇。

在語言方面，依賴于單詞預測的無監(jiān)督學習算法(如GPT-2和BERT)非常成功，在大量的語言任務中表現(xiàn)最佳。這種成功的一個可能原因是下游語言任務的例子在文本中很自然地出現(xiàn)：問題后面經(jīng)常跟著答案，段落后面經(jīng)常跟著總結。相反，像素序列沒有明確包含其所屬圖像的標簽。

即使沒有這種明確的監(jiān)督，圖像上的GPT-2仍然可以工作的原因是：一個足夠大的變壓器訓練下一個像素預測可能最終學會生成不同的樣本與清晰可識別的對象。一旦它學會了這樣做，被稱為“綜合分析”的想法表明，模型也將知道對象類別。許多早期的生成模型都是受到這個想法的推動，最近BigBiGAN就是一個產(chǎn)生令人鼓舞的樣本和特征的例子。在我們的工作中，我們首先展示了更好的生成模型實現(xiàn)更強的分類性能。然后，通過優(yōu)化GPT-2的生成能力，研究人員發(fā)現(xiàn)在很多場景下都達到了頂級的分類性能，為綜合分析提供了進一步的證據(jù)。

這項研究表明，通過權衡二維知識交換規(guī)模，從網(wǎng)絡中間選擇預測特征，序列轉(zhuǎn)換器就可以與頂級卷積網(wǎng)絡競爭無監(jiān)督圖像分類。值得注意的是，GPT-2語言模型直接應用于圖像生成就足以實現(xiàn)實驗結果。

考慮到系統(tǒng)的簡單性和通用性，對于給定足夠的計算量的序列轉(zhuǎn)換器，最終可能是學習許多領域優(yōu)良特性的有效方法。