精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜

点击上方“CVer”,选择加"星标"置顶

重磅干货,第一时间送达

本文转载自:新智元

来源:外媒  |  编辑:Q

【导读】近日,来自 Amazon One 的研究人员提出了一个训练 GAN 的框架,可以对生成的图像进行显式控制。该框架能够通过设置确切的属性(例如年龄,姿势,表情等)来控制生成的图像。

Amazon One团队最近提出了一个可以对生成的图像进行显式属性控制的GAN训练框架,能够通过设置确切的属性来控制生成的图像,如年龄、姿势、表情等。

 

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜_第1张图片

 

这篇论文目前已经发布在arxiv上,并且在Google网盘中有相应的补充说明。

 

目前大多数编辑GAN生成的图像的方法都是通过利用隐空间解构属性来实现部分控制,这些属性是在标准GAN训练后隐式获得的。这种方法能够改变某些属性的相对强度,但不能显式地设置它们的值。

 

而最近提出的方法,是为显式的准确控制人脸属性而设计的,利用可变形的3D人脸模型来实现GAN中的细粒度控制能力。

 

 

与以往方法不同的是,这种控制不受限于可变形的三维人脸模型参数,并且可以扩展到人脸领域之外。

 

使用对比学习,获得了具有明确分解隐空间的GAN。这种分解被用来训练控制编码器,将人类可解释的输入映射到合适的隐向量,从而允许显式的控制。

 

 

在人脸领域,研究人员展示了对身份、年龄、姿势、表情、头发颜色和照明的控制,还演示了我们的框架在画像和狗图像生成领域的控制能力,证明了新的方法在质量和数量上都达到了SOTA。

 

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜_第2张图片

 

在第一阶段,构建每一个batch的每个属性都有一对隐向量,共享一个相应的子向量。 除了对抗性损失外,该批图像中的每张图像都会以对比的方式,逐个属性地与其他所有图像进行比较,并考虑到它的子向量是相同还是不同。

 

在第二阶段,编码器被训练成将可解释的参数映射到合适的隐向量。

 

在推理阶段,是通过将第k个编码器输入设置为所需值,实现对属性k的显式控制。

 

 

对光线、角度和表情的显式控制效果:

 

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜_第3张图片

 

研究人员使用了ArcFace提取生成图像的嵌入向量,具体做法是生成10K个共享ID属性的图像对和具有不同的姿势、照明和表情属性的图像。

 

对发色和年龄的控制效果:

 

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜_第4张图片

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜_第5张图片

 

为了验证模型确实对输出有明确的控制,研究人员进行了控制精度的比较。从FFHQ中随机选取10K张图像,并对其属性进行预测,以产生一个在真实图像中出现的可行属性池。

 

还可以实现在保持其他属性不变的情况下,改变绘画的艺术风格:

 

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜_第6张图片

 

对于喜欢养宠物的人来说,也可以显式控制生成的狗狗图像的一些属性:

 

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜_第7张图片

 

同时,不只可以改变一个属性,还可以同时控制多个属性值:

 

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜_第8张图片

 

通过测试Amazon One的可控GAN模型,本以为现在的美颜工具已经十分好用了,看来未来还会有更加惊艳的功能可以期待。

 

 

参考链接:

https://alonshoshan10.github.io/gan_control/

论文地址:

https://arxiv.org/pdf/2101.02477.pdf

CV资源下载

后台回复:CVPR2020,即可下载代码开源的论文合集

后台回复:ECCV2020,即可下载代码开源的论文合集

后台回复:YOLO,即可下载YOLOv4论文和代码

后台回复:Trasnformer综述,即可下载两个最新的视觉Transformer综述PDF,肝起来!

重磅!CVer-GAN交流群成立

扫码添加CVer助手,可申请加入CVer-GAN 微信交流群,可申请加入CVer大群,细分方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、TransformerPyTorch和TensorFlow等群。

一定要备注:研究方向+地点+学校/公司+昵称(如GAN+上海+上交+卡卡),根据格式备注,才能通过且邀请进群

▲长按加微信群

▲长按关注CVer公众号

整理不易,请给CVer点赞和在看

你可能感兴趣的