本文作者魏秀參，本文首發(fā)于作者的知乎專欄《欲窮千里目》， AI研習社獲其授權發(fā)布。

計算機視覺 (Computer Vision, CV) 是一門研究如何使機器“看”的科學。1963年來自MIT的Larry Roberts發(fā)表的該領域第一篇博士論文“Machine Perception of Three-Dimensional Solids”（），標志著CV作為一門新興人工智能方向研究的開始。

在發(fā)展了50多年后的今天，我們就來聊聊最近讓計算機視覺擁有「無中生有」能力的幾個有趣嘗試：1）超分辨率重建；2）圖像著色；3）看圖說話；4）人像復原；5）圖像自動生成?？梢钥闯觯@五個嘗試層層遞進，難度和趣味程度也逐步提升。（注：本文在此只談視覺問題，不提太過具體的技術細節(jié)，若大家對某部分感興趣，以后再來單獨寫文章討論 :)

超分辨率重建 (Image Super-ResoluTIon)

去年夏天，一款名為“waifu 2x”（）的島國應用在動畫和計算機圖形學中著實火了一把。waifu 2x借助深度「卷積神經(jīng)網(wǎng)絡」(ConvoluTIonal Neural Network, CNN) 可以將圖像的分辨率提升2倍，同時還能對圖像降噪。簡單來說，就是讓計算機「無中生有」的填充一些原圖中并沒有的像素，從而讓漫畫看起來更清晰真切。大家不妨看看下圖，真想童年時候看的就是如此高清的龍珠（）?。?/p>

不過需要指出的是，圖像超分辨率的研究始于2009年左右，只是得力于「深度學習」的發(fā)展，waifu 2x可以做出更好的效果。在具體訓練CNN時，輸入圖像為原分辨率， 而對應的超分辨率圖像則作為目標，以此構成訓練的“圖像對” (image pair)，經(jīng)過模型訓練便可得到超分辨率重建模型。waifu 2x的深度網(wǎng)絡原型基于香港中文大學湯曉歐教授團隊的工作[1]。有趣的是，[1]中指出可以用傳統(tǒng)方法給予深度模型以定性的解釋。如下圖，低分辨率圖像通過CNN的卷積 (convoluTIon) 和池化 (pooling) 操作后可以得到抽象后的特征圖 (feature map)。基于低分辨率特征圖，同樣可以利用卷積和池化實現(xiàn)從低分辨率到高分辨率特征圖的非線性映射 (non-linear mapping)。最后的步驟則是利用高分辨率特征圖重建高分辨率圖像。實際上，所述三個步驟與傳統(tǒng)超分辨率重建方法的三個過程是一致的。

圖像著色 (Image ColorizaTIon)

顧名思義，圖像著色是將原本「沒有」顏色的黑白圖像進行彩色填充。圖像著色同樣借助卷積神經(jīng)網(wǎng)絡，輸入為黑白和對應彩色圖像的image pair，但是僅僅通過對比黑白像素和RGB像素來確定填充的顏色，效果欠佳。因為顏色填充的結果要符合我們的認知習慣，比如，把一條汪星人的毛涂成鮮綠色就會讓人覺得很怪異。于是近期，早稻田大學發(fā)表在2016年計算機圖形學國際頂級會議SIGGRAPH上的一項工作[2]就在原來深度模型的基礎上，加入了「分類網(wǎng)絡」來預先確定圖像中物體的類別，以此為“依據(jù)”再做以顏色填充。下圖分別是模型結構圖和顏色恢復demo，其恢復效果還是頗為逼真的。另外，此類工作還可用于黑白電影的顏色恢復，操作時只需簡單的將視頻中每一幀拿出來作colorization即可。

"看圖說話" (Image Caption)

常說“圖文并茂”，文字是除圖像外另一種描述世界的方式。 近期，一項名為“image caption”的研究逐漸升溫起來，其主要任務是通過計算機視覺和機器學習的方法實現(xiàn)對一張圖像自動地生成人類自然語言的描述，即“看圖說話”。值得一提的是，在今年的CV國際頂會CVPR上，image caption被列為了一個單獨的session，其熱度可見一斑。一般來講在image caption中，CNN用來獲取圖像特征，接著將圖像特征作為語言模型LSTM（RNN的一種）的輸入，整體作為一個「end-to-end」的結構進行聯(lián)合訓練，最終輸出對圖像的語言描述（見下圖）。

目前image caption領域的最好結果[3]來自澳大利亞University of Adelaide的Chunhua Shen教授（）團隊。與之前image caption工作相比，他們的改進與剛才提到的顏色恢復簡直有異曲同工之妙，同樣是考慮利用圖像中物體的類別作為較精準的“依據(jù)”來更好的生成自然語言描述，即下圖中的紅色框框圈起的部分。Image caption的急速發(fā)展不僅加速了CV和NLP在AI大領域內(nèi)的交融，同時也為增強現(xiàn)實應用奠定了更加堅實的技術基礎。另外，我們更樂于看到今后日趨成熟的image caption技術嵌入到穿戴式設備上，那一天盲人便可以間接的“看到光明”。

人像復原 (Sketch Inversion)