CVPR2020之多码先验GAN:预训练模型如何使用?

Stella981
• 阅读 573

点击上方“机器学习与生成对抗网络”,关注"星标"

获取有趣、好玩的前沿干货!CVPR2020之多码先验GAN:预训练模型如何使用?

今天分享一篇港中文周博磊老师组的工作。

CVPR2020之多码先验GAN:预训练模型如何使用?

Image Processing Using Multi-Code GAN Prior

https://arxiv.xilesou.top/pdf/1912.07116.pdf

CVPR2020之多码先验GAN:预训练模型如何使用?

尽管生成对抗网络(GAN)在图像生成里取得了巨大成功,但是将训练好的GAN模型应用到真实的图像处理任务仍然具有挑战性。无监督的GAN中,生成器通常将潜在空间Z映射到图像空间image,也就是没有地方提供去采纳一个真实图像作为输入,这导致训练好的模型无法进行很好地进行后续图像处理

为了让训练好的GAN能用于处理图像,现有方法尝试以重新反向传播(寻找合适的Z)或者添加一个额外的编码器encoder将图像映射到潜在空间。但多数情况下两者的重建并不理想。

在这项工作中提出一种新的逆映射(image->Z)方法,将训练好的GAN作为一个有效的先验去处理多种图像处理任务。具体而言,给定需要做逆映射的GAN模型,使用多个潜码Z利用该GAN模型生成多个特征图(映射到生成器的某个中间层),然后计算它们的重要性系数最终组合并生成目标图像。这种多参数化潜码Z训练的方式可以显著提高图像的重建质量。而高质量的图像重建可以使得训练好的GAN作为一种先验应用于许多真实场景下的应用,例如:图像上色、超分辨率、图像修复、图像语义物体操作编辑等等。同时论文还进一步分析了训练好的模型中每一层的表征属性,去解释每层所能表示的知识。

CVPR2020之多码先验GAN:预训练模型如何使用?

1、GAN逆映射(GAN inversion)

CVPR2020之多码先验GAN:预训练模型如何使用?

一个无监督、训练好的GAN可以通过从潜在空间Z中采样然后合成高质量的图像,也就是Z->image。而所谓的GAN逆映射指的是,找到一个合适Z去恢复目标图像,也就是image->Z(Z此时是一个待优化的参数)。

2、特征组合

作者认为单码(single latent code)去恢复重建目标图像的所有细节so hard,所以使用多码,期待它们可以更全方面的去重建更细致的部分(将复杂任务细化、分而治之)。本文引进的所谓多码(multiple latent codes),如何将它们结合在一起优化是一个关键问题。

CVPR2020之多码先验GAN:预训练模型如何使用?

作者的方法是将生成器“分为”两部分,G1和G2,L是中间某层的特征输出,提出“自适应通道重要性”(Adaptive Channel Importance)去做融合后重建。

CVPR2020之多码先验GAN:预训练模型如何使用?

CVPR2020之多码先验GAN:预训练模型如何使用?

CVPR2020之多码先验GAN:预训练模型如何使用?

3、优化目标

最终整个框架是求解Z和α

CVPR2020之多码先验GAN:预训练模型如何使用?

重建损失使用的是MSE和VGG的感知损失距离:

CVPR2020之多码先验GAN:预训练模型如何使用?

4、图像处理任务的应用

对于图像上色

CVPR2020之多码先验GAN:预训练模型如何使用?

CVPR2020之多码先验GAN:预训练模型如何使用?

对于图像超分

CVPR2020之多码先验GAN:预训练模型如何使用?

CVPR2020之多码先验GAN:预训练模型如何使用?

对于图像修复

CVPR2020之多码先验GAN:预训练模型如何使用?

CVPR2020之多码先验GAN:预训练模型如何使用?

5、GAN里的知识表征

分别使用face、church、conference room、bedroom四个数据集预训练PGGAN,并以此作为先验。当使用single latent code去重建时,很难“覆盖先验”,出来的结果会呈现原训练集图像内容,而无法重建到目标图像。

CVPR2020之多码先验GAN:预训练模型如何使用?

结论

本文提出了一种新颖的GAN逆映射方法。基于预训练的无监督GAN,使用多码(multiple latent codes)去重建目标图像的方法。实验表明该方法可以有效利用预训练好的GAN进行多种图像处理任务。


公众号近期荐读:

GAN整整6年了!是时候要来捋捋了!

新手指南综述 | GAN模型太多,不知道选哪儿个?

数百篇GAN论文已下载好!搭配一份生成对抗网络最新综述!

CVPR2020之MSG-GAN:简单有效的SOTA

CVPR2020之姿势变换GAN:图像里谁都会劈叉?

3月已半,GAN最近都在整些啥?

有点夸张、有点扭曲!速览这些GAN如何夸张漫画化人脸!

见微知细之超分辨率GAN!附70多篇论文下载!

天降斯雨,于我却无!GAN用于去雨如何?

脸部转正!GAN能否让侧颜杀手、小猪佩奇真容无处遁形?

容颜渐失!GAN来预测?

强数据所难!SSL(半监督学习)结合GAN如何?

弱水三千,只取你标!AL(主动学习)结合GAN如何?

异常检测,GAN如何gan ?

虚拟换衣!速览这几篇最新论文咋做的!

脸部妆容迁移!速览几篇用GAN来做的论文

【1】GAN在医学图像上的生成,今如何?

01-GAN公式简明原理之铁甲小宝篇


GAN&CV 交流群 ,无论小白还是大佬,诚挚邀您加入!

一起讨论交流!长按备注【进群】加入:

CVPR2020之多码先验GAN:预训练模型如何使用?

更多分享、长按关注本公众号:

CVPR2020之多码先验GAN:预训练模型如何使用?

本文分享自微信公众号 - 看那个码农(gh_31e9c1ac7ce4)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
4种主流超参数调优技术
点击上方“机器学习与生成对抗网络”,关注"星标"获取有趣、好玩的前沿干货!!(https://oscimg.oschina.net/oscnet/88766b7e21b9447b
Stella981 Stella981
2年前
Docker 部署SpringBoot项目不香吗?
  公众号改版后文章乱序推荐,希望你可以点击上方“Java进阶架构师”,点击右上角,将我们设为★“星标”!这样才不会错过每日进阶架构文章呀。  !(http://dingyue.ws.126.net/2020/0920/b00fbfc7j00qgy5xy002kd200qo00hsg00it00cj.jpg)  2
Stella981 Stella981
2年前
ClickHouse大数据领域企业级应用实践和探索总结
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/bb00e5f54a164cb9827f1dbccdf87443.jpg)!(https://oscimg.oschina.net/oscnet/dc8da835ff1b4
Stella981 Stella981
2年前
200的大额人民币即将面世?央行:Yes!
点击上方蓝字关注我们!(https://oscimg.oschina.net/oscnet/2a1c2ac00bf54458a78c48a6c2e547d5.png)点击上方“印象python”,选择“星标”公众号重磅干货,第一时间送达!!(
可莉 可莉
2年前
200的大额人民币即将面世?央行:Yes!
点击上方蓝字关注我们!(https://oscimg.oschina.net/oscnet/2a1c2ac00bf54458a78c48a6c2e547d5.png)点击上方“印象python”,选择“星标”公众号重磅干货,第一时间送达!!(
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
4个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这