如果只是作為駕駛模擬器，可能很平庸，但對電子游戲畫面來說，這可能是一場偉大的革命 。

最近人工智能的繁榮給圖像和視頻生成領(lǐng)域帶來了一系列令人印象深刻的成果。最新成果來自芯片制造商英偉達(dá)，該公司12月3日發(fā)布了一份研究報(bào)告，展示了AI生成的畫面如何與傳統(tǒng)的視頻游戲引擎相結(jié)合。這種混合圖形系統(tǒng)有望應(yīng)用到視頻游戲，電影和虛擬現(xiàn)實(shí)等方面。

“這是使用深度學(xué)習(xí)渲染視頻內(nèi)容的一種新方式，”英偉達(dá)應(yīng)用深度學(xué)習(xí)副總裁Bryan Catanzaro表示。“顯然，英偉達(dá)非常關(guān)心圖形生成，并且我們正在思考如何利用人工智能徹底改變這一領(lǐng)域?！?/p>

英偉達(dá)的生成的圖片并沒有達(dá)到真實(shí)照片級的畫面，他們展示了在 AI 生成的圖像中發(fā)現(xiàn)的一些水印狀的模糊。并且這一工作也不是完全創(chuàng)新的。在一篇研究論文中，該公司的工程師解釋了他們?nèi)绾位谝恍┈F(xiàn)有方法，包括一個(gè)有影響力的開源系統(tǒng)pix2pix。此外英偉達(dá)的工作中還應(yīng)用到了生成對抗網(wǎng)絡(luò)(GAN)。這些方法已經(jīng)廣泛用于AI圖像生成。

但是英偉達(dá)還是在新產(chǎn)品中引入很多創(chuàng)新，這是世界上首個(gè)利用AI生成圖形畫面的視頻游戲演示。這個(gè)產(chǎn)品是一個(gè)簡單的駕駛模擬器，玩家可以在AI生成的幾個(gè)城市街區(qū)中穿行，但不能離開他們的汽車，也不能以其他方式與世界互動。并且這一演示僅使用一個(gè)GPU即可實(shí)現(xiàn) ，對于這樣的前沿工作來說，這是一個(gè)顯著的成就。

英偉達(dá)的系統(tǒng)利用如下幾個(gè)步驟生成圖形畫面：首先，研究人員必須收集訓(xùn)練數(shù)據(jù)，一般這些數(shù)據(jù)來自于自動駕駛研究的開源數(shù)據(jù)集。然后將這些視頻數(shù)據(jù)中的每一個(gè)鏡頭做分割，即每一幀畫面被分成不同類別的區(qū)域：如天空，汽車，樹木，道路，建筑物等。然后，用這些分割的數(shù)據(jù)訓(xùn)練生成對抗網(wǎng)絡(luò)，用來生成這些對象的新畫面 。

接下來，工程師們使用傳統(tǒng)的游戲引擎創(chuàng)建了虛擬環(huán)境的基本拓?fù)浣Y(jié)構(gòu)。在該游戲演示中，使用的系統(tǒng)是虛幻引擎 4，這是一種流行的引擎，被用于諸如堡壘之夜，絕地求生，戰(zhàn)爭機(jī)器4等多種游戲中。工程師們使用此引擎作為框架，然后利用深度學(xué)習(xí)算法實(shí)時(shí)生成每個(gè)類別的圖形畫面，并將它們顯示到游戲引擎的模型上 。

“被創(chuàng)造的世界的結(jié)構(gòu)還是用傳統(tǒng)方法制作的，”Catanzaro解釋說，“人工智能產(chǎn)生的唯一東西就是圖形畫面?！彼a(bǔ)充說，演示本身很基礎(chǔ)，主要由一名工程師負(fù)責(zé)完成?！斑@主要是用來做概念驗(yàn)證游戲，而不是開發(fā)了一個(gè)真正的游戲 ?！?/p>

它們?nèi)绾伪３置恳粎^(qū)域的對象看起來大致相同？Catanzaro這個(gè)問題曾導(dǎo)致這個(gè)系統(tǒng)的初始結(jié)果“看起來很痛苦”，因?yàn)閳D形的顏色和紋理 “每幀都會改變 ”。

而解決的方案就是給系統(tǒng)一個(gè)短期記憶，讓系統(tǒng)生成的每個(gè)新幀的時(shí)候與之前的幀進(jìn)行比較 。試圖去預(yù)測這些圖像之間運(yùn)動的東西，并產(chǎn)生與屏幕上的內(nèi)容一致的新鄭但是這些計(jì)算都很昂貴，因此游戲只能以每秒25幀的速度運(yùn)行。

Catanzaro強(qiáng)調(diào)，這項(xiàng)技術(shù)還處于早期階段，想要讓人工智能生成的畫面出現(xiàn)在消費(fèi)者游戲中可能還需要幾十年的時(shí)間。他將這種情況與光線追蹤的發(fā)展進(jìn)行了比較，光線跟蹤是當(dāng)前圖形渲染中的熱門技術(shù)，它可以實(shí)時(shí)生成單獨(dú)的光線，在虛擬環(huán)境中創(chuàng)建逼真的反射，陰影和不透明度。Catanzaro表示：“第一次交互式光線追蹤演示已經(jīng)是很久很久以前的事了，但直到幾周前我們還沒有在游戲中成功應(yīng)用光線跟蹤技術(shù)”。

不過，人工智能生成的畫面工作確實(shí)在機(jī)器人和自動駕駛汽車等研究領(lǐng)域有潛在的應(yīng)用前景，可以用來生成虛擬訓(xùn)練環(huán)境。例如，在大部分游戲中，結(jié)構(gòu)仍使用傳統(tǒng)方法渲染，而AI用于創(chuàng)建其中的人或物體 。消費(fèi)者可以使用智能手機(jī)自己捕捉素材，然后將這些數(shù)據(jù)上傳到云端，算法將通過學(xué)習(xí)將其插入到各種游戲中。比如說，將其用來創(chuàng)建更像真人玩家的頭像。

然而，這種技術(shù)帶來了一些明顯的問題。近年來，專家越來越擔(dān)心有些人會使用 AI 生成的足以亂真的假情報(bào)進(jìn)行虛假宣傳 。研究人員展示，現(xiàn)在很容易制作一些虛假的政治家和名人的鏡頭，利用這些視頻散播一些的虛假消息，這將會是不法之徒一個(gè)很強(qiáng)大的武器。如果推進(jìn)這項(xiàng)技術(shù)的發(fā)展并將這一研究成果發(fā)布，英偉達(dá)在一定程度上可以說是這一潛在負(fù)面問題的推動者。

不過，英偉達(dá)表示，這并不是一個(gè)新問題?！斑@一技術(shù)可以用于制作具有誤導(dǎo)性的內(nèi)容嗎？是。但是任何渲染技術(shù)都可以用來做到這一點(diǎn) ，”Catanzaro表示，英偉達(dá)正在與合作伙伴一起研究檢測AI贗品的方法，這種所謂的虛假信息的問題本質(zhì)上是一個(gè)“信任問題”。就像之前許多的“信任問題”一樣，它必須通過一系列方法來解決，而不僅僅是通過技術(shù) 。

Catanzaro反問道：“電力公司創(chuàng)造的電力可以為制作假視頻的電腦供電，你覺得他們需不需要負(fù)責(zé)？”。

不過歸根結(jié)底，對于英偉達(dá)來說，推動人工智能生成的圖形有一個(gè)明顯的好處：它將有助于英偉達(dá)銷售更多的硬件。自從深度學(xué)習(xí)熱潮在2010年初興起以來，英偉達(dá)的股價(jià)飆升，很明顯英偉達(dá)的計(jì)算機(jī)芯片非常適合機(jī)器學(xué)習(xí)研究和開發(fā) 。

對于計(jì)算機(jī)圖形學(xué)的人工智能革命是否會有利于英偉達(dá)公司的收入，Catanzaro笑著說，至少不會帶來傷害。“任何能夠提高生成更逼真和更具吸引力的圖形的能力，都會對英偉達(dá)有利 ?！?/p>