QQ在線
企業(yè)微信
資訊
405最近看到了一個(gè)比較好玩的項(xiàng)目，號(hào)稱(chēng)可以將非常小的圖片表情恢復(fù)原狀。通過(guò)一個(gè)機(jī)器學(xué)習(xí)模型對(duì)面部的標(biāo)志進(jìn)行漸進(jìn)式的超分辨，訓(xùn)練后的網(wǎng)絡(luò)可以輸入小至16×16像素的圖像進(jìn)行面部圖像的重建，并重新縮放到128×128像素大小作為輸出圖像，以下是他們給出的例子：
相關(guān)論文介紹
該機(jī)器學(xué)習(xí)模型來(lái)自論文：Progressive Face Super-Resolution via Attention to Facial Landmark（https://arxiv.org/abs/1908.08239），論文提出了一種新的人臉識(shí)別方法，用這個(gè)方法可生成逼真的8倍超分辨率的人臉圖像的同時(shí)，完全保留其面部細(xì)節(jié)。該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法是漸進(jìn)式的，通過(guò)將網(wǎng)絡(luò)分割成連續(xù)的步驟，使訓(xùn)練穩(wěn)定下來(lái)，每一步輸出的分辨率都在不斷提高。論文還提出了一種新的面部注意力丟失方法，并將其應(yīng)用于每一步的訓(xùn)練中，通過(guò)增加像素差和熱圖值來(lái)更詳細(xì)地恢復(fù)面部屬性。最后，論文還提出一個(gè)壓縮版本的人臉對(duì)齊網(wǎng)絡(luò)（FAN）的標(biāo)志熱圖提取。利用所提出的FAN，可以提取出適合于人臉SR的熱圖，并減少了整體訓(xùn)練時(shí)間。實(shí)驗(yàn)結(jié)果證明，該方法在定性和定量測(cè)量方面都優(yōu)于目前最先進(jìn)的方法，尤其是在面部感知質(zhì)量方面。
然而，論文中有一個(gè)沒(méi)被提及的細(xì)節(jié)，就是最后輸出的圖片帶有疤痕的比例非常高?，活脫脫都變成了哈利波特呢。
左：真人，中：原輸入表情，右：輸出結(jié)果
仔細(xì)一看右圖還真的怪嚇人的，幸好農(nóng)歷七月已經(jīng)過(guò)去了
另外，該模型的最佳訓(xùn)練場(chǎng)景是輸入的圖像大小應(yīng)該為16×16像素，并且需要使用與訓(xùn)練和測(cè)試模型完全相同的代碼。
如果原圖像不是16×16像素的呢？
如上圖所示，在Twitter上有一組大小正好為16×16像素的表情符號(hào)（大家也可以自行到Twitter表情的Github項(xiàng)目查看：https://github.com/twitter/twemoji），作者利用這些表情進(jìn)行了測(cè)試，結(jié)果可以看下圖：
以上8組表情的的左側(cè)都是原圖，右側(cè)則是輸出結(jié)果，這訓(xùn)練出來(lái)的結(jié)果也太老齡化了吧，面部全部都滿(mǎn)臉皺紋，連披薩都烤的毫無(wú)食欲（還是叫個(gè)必勝客的披薩吃吧，推特牌就算了）。
現(xiàn)在有了新的進(jìn)展！因?yàn)檫@個(gè)模型是專(zhuān)門(mén)用于尋找面部標(biāo)志的，所以任何一個(gè)標(biāo)志都可以在一個(gè)像素上畫(huà)出眼睛和鼻孔。作者表示非?？隙ㄒ獯罄毕隳c披薩就是模仿人類(lèi)的嘴唇?制成的…
下面的樣本是經(jīng)過(guò)精心挑選的，然而許多輸出的結(jié)果都不是很理想。作者也花了很大力氣鼓勵(lì)模型對(duì)面部特征做出積極的猜測(cè)。例如，雖然推特的圖像已經(jīng)是16×16像素，但如果首先通過(guò)傳統(tǒng)的大小調(diào)整將其從16×16像素的輸入調(diào)整到128×128像素，然后再降低到16×16像素，通常會(huì)得到更好的結(jié)果。這顯然增加了很多模糊，但似乎為模型提供了更多創(chuàng)造性的空間來(lái)解釋某個(gè)事物。作者還將預(yù)測(cè)的圖像作為輸入發(fā)送回模型進(jìn)行迭代（迭代次數(shù)多達(dá)10次），其中有許多輸入圖像都是來(lái)自后來(lái)迭代生成的結(jié)果。然而，在10次迭代中只有3次可以看到人的眼睛。
作者還非常喜歡這個(gè)綠色的很像龍（或者像蛇）的表情。除了一只眼睛以外，它從來(lái)沒(méi)有真正擁有過(guò)人類(lèi)的特征，但生成圖片的人造風(fēng)格令作者非常喜歡。
當(dāng)你放大或縮小一個(gè)StyleGAN面部模型時(shí)，作者聯(lián)想到這篇Gan可操控性論文（https://arxiv.org/pdf/1907.07171.pdf）。
以下是用Face Super-Resolution模型縮放的圖像結(jié)果：
該動(dòng)圖無(wú)法上傳，敬請(qǐng)移步到原文查看：https://iforcedabot.com/photo-realistic-emojis-and-emotes-with-progressive-face-super-resolution/。
Twitch表情的輸出效果如何？
令人驚訝的是，只需要一點(diǎn)點(diǎn)調(diào)整，爬行動(dòng)物圖片的輸出結(jié)果，面部看起來(lái)更像人類(lèi)了！說(shuō)好的建國(guó)以后動(dòng)物不能成精呢？??！
Twitch表情并不完全適用于16×16，其中一些具有高分辨率版本，而另一些則沒(méi)有。作者嘗試了所有種類(lèi)，因此對(duì)于以下的某些圖片，輸入的時(shí)候已經(jīng)是高分辨率，但在進(jìn)入模型之前被調(diào)整為16×16像素大小。圖片輸出結(jié)果也在下方，因?yàn)榕c真正的高分辨率表情經(jīng)常有一種有趣的對(duì)比。
最后來(lái)看看游戲精靈們的生成結(jié)果
由于篇幅有限，作者沒(méi)有拿更多的精靈進(jìn)行測(cè)試，不過(guò)可以期待作者之后的更新~
進(jìn)一步探索
我認(rèn)為可以做更多的事情來(lái)鼓勵(lì)模型在應(yīng)用人類(lèi)特征方面具有創(chuàng)造性 —— 目前我只是嘗試對(duì)管道進(jìn)行一些調(diào)整并迭代，幾乎沒(méi)有做其他的事情。使用其他模型的可能性是無(wú)窮無(wú)盡的。作者立即聯(lián)想到StyleGAN編碼：https://twitter.com/jonathanfly/status/1138236372572135424
在 https://selfie2anime.com/上也有一個(gè)快速測(cè)試，可以告訴你在動(dòng)漫里長(zhǎng)什么樣子，輸出的結(jié)果會(huì)發(fā)送到郵箱中。
更新1：更多Minecraft
我被要求嘗試用更多的Minecraft紋理去進(jìn)行測(cè)試，當(dāng)然是以16×16像素的圖片作為樣本。結(jié)果很顯然，絕大多數(shù)的樣本并沒(méi)有真正發(fā)揮作用......?
完整數(shù)據(jù)集地址：https://drive.google.com/open?id=1kzmgMAshMeO8dOs6gnr0IzHWHsn_MBux
面部特征通常非常微妙，實(shí)際上會(huì)比明顯的面部特征更令人毛骨悚然。想象一下在玩游戲的時(shí)候，隱隱約約感覺(jué)看到了一張臉，但是又不能對(duì)這張圖像做出什么操作......
更新2：不能停止嘗試的事情
為了尋找更多可以用來(lái)進(jìn)行測(cè)試的像素圖像，作者在這顆恒星的圖像上嘗試了 Face Super-Resolution 訓(xùn)練。只花了大約40次迭代，（輸出的圖像）就揭示它實(shí)際上是一個(gè)可愛(ài)的小外星人的形象。很確定天文學(xué)是如何運(yùn)作的？https://t.co/dUQjERGllq
更新3：視頻的 Face Super-Resolution
繼續(xù)用Face Super-Resolution神經(jīng)網(wǎng)絡(luò)對(duì)一個(gè)16x16像素的視頻進(jìn)行超分辨，結(jié)果大家也都看到了，F(xiàn)ace Super-Resolution 基本上把它變成了DeepFake里的魔鬼。?
YouTube視頻：https://youtu.be/H8qH_mdceNM
最后，對(duì) Face Super-Resolution 感興趣的同學(xué)，可以到Colab進(jìn)行嘗試。如果大家知道為什么會(huì)出現(xiàn)如此恐怖的現(xiàn)象，也可以在留言區(qū)進(jìn)行留言~
https://gist.github.com/JonathanFly/80b669a72bf624d17b56a1cfec742588#file-progressivefacesuperresolutiondemo-ipynb
快速在線體驗(yàn)地址：
https://colab.research.google.com/gist/JonathanFly/80b669a72bf624d17b56a1cfec742588/progressivefacesuperresolutiondemo.ipynb
彩蛋時(shí)間到
以下是小編自己在Colab上測(cè)試的結(jié)果，圖片都是在網(wǎng)絡(luò)找的，只需要在代碼中修改網(wǎng)絡(luò)圖片的地址即可運(yùn)行。具體效果如何，請(qǐng)大家自行感受吧
（不能讓我一個(gè)人辣眼睛）
via https://iforcedabot.com/photo-realistic-emojis-and-emotes-with-progressive-face-super-resolution/
