最近看（kàn）到了一个比（bǐ）较好玩的项目，号称可以（yǐ）将非常小的图片表情恢（huī）复（fù）原状。通过一个机器学习模型对面部的标志进行渐进式（shì）的超分辨，训练（liàn）后的网络可以输入小至16×16像素（sù）的图像（xiàng）进（jìn）行（háng）面部图像（xiàng）的重建，并重新缩放到128×128像素大（dà）小作为输（shū）出图（tú）像，以下是（shì）他们给出的例子：

相关论文介（jiè）绍

该机器学（xué）习模型（xíng）来自论文：Progressive Face Super-Resolution via Attention to Facial Landmark（https://arxiv.org/abs/1908.08239），论文提（tí）出（chū）了（le）一种新的人脸识别方法，用（yòng）这个方法可（kě）生成逼真的8倍超分辨率的人脸图像的同时，完全保留其面部细节。该（gāi）神经（jīng）网络的训（xùn）练方法是渐进式的，通过将网络分割成连（lián）续的步骤，使训练稳定下（xià）来，每（měi）一步输出（chū）的（de）分辨率都在不断提（tí）高（gāo）。论文还（hái）提（tí）出了（le）一种新的面部注意（yì）力丢失方法，并将（jiāng）其应（yīng）用（yòng）于每一步的训练中，通过增加像素差和热图值来（lái）更详细（xì）地恢（huī）复面部属性。最（zuì）后，论文（wén）还提出一（yī）个压缩版本的人脸对齐网络（FAN）的标志热（rè）图提取（qǔ）。利用所提出的FAN，可以提取出适合于人脸（liǎn）SR的（de）热图，并减少了整体训练（liàn）时（shí）间（jiān）。实验结果证明，该方法（fǎ）在定性和定量测量方面都优于目前最先进的（de）方法，尤其是在面部感知质量方面。

然而（ér），论文（wén）中有一个没被提（tí）及的细（xì）节，就是最后输出的图片带有疤痕的比例非（fēi）常高?，活（huó）脱脱都变成（chéng）了哈（hā）利波（bō）特呢。

左：真人，中：原（yuán）输入（rù）表情（qíng），右：输出结果

仔细一（yī）看右图还真（zhēn）的怪（guài）吓人（rén）的，幸好农历（lì）七月已经过（guò）去了

另外，该（gāi）模型的最佳训练场景是输入的图像大小应该为16×16像（xiàng）素，并且需（xū）要使用与训（xùn）练和测试模型（xíng）完全（quán）相同的代码。

如果原图像不是（shì）16×16像素的呢？

如上图所示，在Twitter上有一（yī）组大小正好为16×16像素的表情符（fú）号（大家也可以自（zì）行到Twitter表情的（de）Github项目查看：https://github.com/twitter/twemoji），作者利用（yòng）这些表情（qíng）进行了测试，结果可（kě）以看下图：

以上8组表情的的（de）左侧都是原（yuán）图，右侧则是输出结果，这训练出来的结果也太老（lǎo）龄（líng）化（huà）了吧（ba），面部全部（bù）都满脸皱纹，连披（pī）萨都烤的毫无食（shí）欲（还是叫个必胜客（kè）的披萨吃吧，推特牌就算了）。

现在有了新的（de）进展！因为这个模型是（shì）专门（mén）用（yòng）于寻找（zhǎo）面部标志的（de），所以（yǐ）任（rèn）何（hé）一个标志都可以在一个像（xiàng）素上画出（chū）眼睛和鼻孔（kǒng）。作者表示非（fēi）常肯定意大利辣（là）香（xiāng）肠披萨就是模仿人（rén）类的嘴唇?制成的…

下面的样（yàng）本（běn）是经过精（jīng）心挑选的，然而许多输出（chū）的（de）结果都不是很理想。作者（zhě）也花了很大力气鼓（gǔ）励模型对面部特征做（zuò）出积极的猜测。例如，虽然推特的图像已（yǐ）经是16×16像（xiàng）素，但如果首先通过（guò）传（chuán）统（tǒng）的（de）大（dà）小调整将其（qí）从16×16像素的输入调整到（dào）128×128像素，然后再降低到16×16像素，通常（cháng）会得到（dào）更好的结（jié）果。这（zhè）显然增加了很多模糊，但似乎为模型提供（gòng）了更多创造性的空间来解释某（mǒu）个（gè）事（shì）物。作者还将预测的图像作（zuò）为输入发送（sòng）回模型进行迭（dié）代（迭代（dài）次（cì）数多达10次（cì）），其中有（yǒu）许多（duō）输入图（tú）像都是来自后（hòu）来迭代生成的结果。然而（ér），在10次迭代中只有3次可以看到人的（de）眼睛（jīng）。

作者还非常喜欢这个绿（lǜ）色的很（hěn）像龙（或者像蛇）的（de）表情。除（chú）了一只眼睛以（yǐ）外，它从来没有真正拥有过（guò）人类的特征，但生成（chéng）图片的（de）人造（zào）风（fēng）格令作者非常喜欢。

当你放大（dà）或缩小一个StyleGAN面部（bù）模型时（shí），作者联想到这篇（piān）Gan可（kě）操（cāo）控性（xìng）论文（https://arxiv.org/pdf/1907.07171.pdf）。

以下是用Face Super-Resolution模型缩放（fàng）的图像结果：

该动图无法（fǎ）上（shàng）传，敬请移步到原文查看：https://iforcedabot.com/photo-realistic-emojis-and-emotes-with-progressive-face-super-resolution/。

Twitch表情的输出效果如何？

令人（rén）惊讶的是，只需要一（yī）点点调整，爬（pá）行动物图片的输出结果（guǒ），面部看起来更像人类了！说好的建（jiàn）国以后动物不能（néng）成精呢？！！

Twitch表情（qíng）并不完全适用于16×16，其中一些具（jù）有高分（fèn）辨率版本，而另一些则没有。作者尝试了所有种类，因此对（duì）于以下（xià）的（de）某些图片，输入的时候已经是高分辨率，但在进入模型之前被调整为16×16像素大小。图片输出结果（guǒ）也在下方，因为与真正的高分辨率表情经（jīng）常有一（yī）种有趣的对比。

最后来看看游戏精灵们（men）的生成结（jié）果

由于篇幅有限，作者没有拿（ná）更多（duō）的精灵进行测试，不过可以期待作者之后（hòu）的更（gèng）新~

进一步探（tàn）索

我（wǒ）认为可以做更多的事情来鼓（gǔ）励模型在应用人类特征（zhēng）方面具有创造性 —— 目（mù）前我只是（shì）尝试对管道进（jìn）行一些调整并迭代，几乎没有做其他的事情。使用其他模型的可能性（xìng）是无穷无尽的。作者立（lì）即联想到StyleGAN编码：https://twitter.com/jonathanfly/status/1138236372572135424

在 https://selfie2anime.com/上（shàng）也有一个快速测试，可以告诉（sù）你在动（dòng）漫里长（zhǎng）什么样子，输出的结果（guǒ）会（huì）发（fā）送到邮（yóu）箱中。

更新1：更多（duō）Minecraft

我被（bèi）要求（qiú）尝试用更多的Minecraft纹理去进行测试（shì），当然是（shì）以16×16像素的图片作为样（yàng）本。结果很显然，绝大（dà）多数的样本并没有真（zhēn）正（zhèng）发挥（huī）作用（yòng）......?

完（wán）整数据集（jí）地址：https://drive.google.com/open?id=1kzmgMAshMeO8dOs6gnr0IzHWHsn_MBux

面部特（tè）征通常非（fēi）常微妙，实际上会（huì）比明显的面部特征（zhēng）更令（lìng）人毛骨悚然。想（xiǎng）象（xiàng）一下在玩游戏的时候，隐隐约约感觉（jiào）看到了一张脸，但是又不能对这张图像做出什么操作......

更新2：不能停止尝试的事（shì）情

为了（le）寻找（zhǎo）更多可以用来进行（háng）测试（shì）的（de）像素图（tú）像，作者在这颗恒星的图（tú）像上尝试了 Face Super-Resolution 训（xùn）练。只花了大约40次迭代，（输出的（de）图像）就揭（jiē）示（shì）它实际上是一个可（kě）爱（ài）的小（xiǎo）外星人的（de）形象。很确定天文学（xué）是如何运作的？https://t.co/dUQjERGllq

更新3：视频的 Face Super-Resolution

继续用Face Super-Resolution神经网络（luò）对一个16x16像素的视频进（jìn）行超分（fèn）辨，结（jié）果（guǒ）大家也都看到了，Face Super-Resolution 基本（běn）上把它（tā）变成了DeepFake里（lǐ）的魔鬼。?

YouTube视频：https://youtu.be/H8qH_mdceNM

最后，对 Face Super-Resolution 感（gǎn）兴趣的同学，可（kě）以（yǐ）到（dào）Colab进行尝试（shì）。如果大家（jiā）知道为什么会出（chū）现（xiàn）如此恐怖的现象，也可以在留言区进行留言~

https://gist.github.com/JonathanFly/80b669a72bf624d17b56a1cfec742588#file-progressivefacesuperresolutiondemo-ipynb

快速在线体验地址：

https://colab.research.google.com/gist/JonathanFly/80b669a72bf624d17b56a1cfec742588/progressivefacesuperresolutiondemo.ipynb

彩蛋时间到

以（yǐ）下是（shì）小编自己（jǐ）在Colab上测试的结果，图片（piàn）都是在网络（luò）找的（de），只需要在代码中（zhōng）修改网络图片的（de）地址即可运（yùn）行。具体效果如何，请大家自行（háng）感受（shòu）吧

（不能让我一（yī）个人辣眼睛）

via https://iforcedabot.com/photo-realistic-emojis-and-emotes-with-progressive-face-super-resolution/