黑科技？杜克大學(xué)新研發(fā)AI工具可將低像素圖像清晰度提高60倍

2020-06-13 16:15

杜克大學(xué)研究人員于最近研發(fā)出一種新的AI工具，可以將模糊到難以辨認(rèn)的人臉圖像轉(zhuǎn)化成電腦生成的圖像，其細(xì)節(jié)呈現(xiàn)將比以往任何技術(shù)都更加精細(xì)。

對(duì)比那些可以將人臉圖像縮放到原始分辨率8倍的技術(shù)，杜克大學(xué)的AI工具可以在像素極低的情況下，創(chuàng)造出一張分辨率比原始圖像高64倍的逼真面孔，同時(shí)還會(huì)為它添加一些原本不存在的細(xì)紋、睫毛和胡茬等特征。

研究人員表示，這個(gè)系統(tǒng)不能被用于識(shí)別身份，因?yàn)樗鼰o(wú)法將監(jiān)控?cái)z像頭下失焦到無(wú)法識(shí)別的照片變成清晰的真人圖像圖像。它能做到的是生成不存在但看起來(lái)似乎真實(shí)的新面孔。

剛剛從杜克大學(xué)以數(shù)學(xué)和計(jì)算機(jī)科學(xué)雙學(xué)位畢業(yè)的Sachit補(bǔ)充道，當(dāng)研究人員以人臉為對(duì)象進(jìn)行概念驗(yàn)證時(shí)，同樣的技術(shù)在理論上可以將所有物體的低分辨率圖像轉(zhuǎn)換成高清的擬真版本，其應(yīng)用領(lǐng)域包括醫(yī)學(xué)、顯微鏡學(xué)、天文學(xué)和衛(wèi)星圖像等等。

傳統(tǒng)的技術(shù)想要清晰化一幅低分辨率圖像，通常會(huì)先看看要給它補(bǔ)充哪些額外像素，然后試圖讓它同電腦以前見(jiàn)過(guò)的高分辨率圖像中對(duì)應(yīng)的像素平均匹配。由于這種平均，頭發(fā)和皮膚區(qū)域的紋理可能不會(huì)完美地從一個(gè)像素被復(fù)刻到下一個(gè)，使成像看起來(lái)還是模糊得不行。

杜克大學(xué)團(tuán)隊(duì)創(chuàng)新出的想法則是，他們不會(huì)先拍一張低分辨率的圖像，然后慢慢地添加新的細(xì)節(jié)，而是直接搜索AI生成的高分辨率面孔樣本，接著在縮小到相同大小時(shí)，盡可能地尋找與原始輸入圖像相似的面孔。

該團(tuán)隊(duì)采用了一種被稱為“生成式對(duì)抗網(wǎng)絡(luò)”的機(jī)器學(xué)習(xí)工具，簡(jiǎn)稱GAN，它是針對(duì)同一組照片數(shù)據(jù)構(gòu)建的兩個(gè)神經(jīng)網(wǎng)絡(luò)。一個(gè)網(wǎng)絡(luò)會(huì)以它接收的人臉為標(biāo)準(zhǔn)，搜索出AI創(chuàng)造的版本，而另一個(gè)網(wǎng)絡(luò)則會(huì)接收輸出的AI圖像，并判斷它是否真實(shí)到找不出一點(diǎn)違和感。隨著樣本的積累，到最后第一個(gè)網(wǎng)絡(luò)給出的圖像會(huì)讓第二個(gè)網(wǎng)絡(luò)挑不出一點(diǎn)差錯(cuò)。

這項(xiàng)技術(shù)被取名為PULSE，從一張模糊的人臉圖像中，PULSE可以發(fā)展出無(wú)限可能性，它可以在幾秒鐘內(nèi)將一張16x16像素的人臉圖像轉(zhuǎn)換為1024 x1024像素。而通過(guò)微妙的細(xì)節(jié)改變，每一張圖都可能是一個(gè)不同的人。

即使給出一張眼睛和嘴巴都模糊不堪的像素化照片，研發(fā)人員也有自信該種算法仍能做到一些傳統(tǒng)技術(shù)做不到的事情。在即將于6月14日－19日通過(guò)線上召開(kāi)的計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的頂級(jí)會(huì)議CVPR 2020上，研究人員會(huì)對(duì)PULSE進(jìn)行進(jìn)一步展示。