Github 开源趋势榜 TOP 1:英伟达升级发布二代 StyleGAN!_stylegan模型什么时候提出来的-程序员宅基地

技术标签: 技术之路  行业热点  

format,png

format,png

整理 | Jane

出品 | AI科技大本营

2018 年底,英伟达借鉴风格迁移的思路,提出当时最先进的无条件生成模型—— StyleGAN ,吸引了大家广泛关注。随后,代码开源,一位 Uber 工程师更是利用此模型设计了网站“ThisPersonDoesNotExist.com”,轰动一时。自此,对虚假信息生成技术的研究与讨论延续至今。

近日,英伟达再次公开最新论文《Analyzing and Improving the Image Quality of StyleGAN》,通过对 StyleGAN 的生成效果分析,对不完美的工作设计了改进和优化方法,提出新一代 StyleGAN,效果更上一层楼,生成图像的质量堪称完美。

 

format,png

虚假信息生成,轰动一时

2019 年 2 月,我们曾在报道中特别为大家介绍 Uber 软件工程师 Philip Wang 使用英伟达发表的 StyleGAN 创建了无穷尽的假肖像图集,并通过“ThisPersonDoesNotExist”网站用最简单直观的形式展示给更多的人,其背后的算法基于大规模的真实数据集训练而成,然后使用生成对抗网络(GAN)来制造出新的图像。每次刷新网站,只需大约 2 秒,网络就可从 512 维向量中从头开始生成新的人脸图像。

不止这些从不存在的人脸图片,动漫人物、猫狗、汽车、卧室......这些类别的图片都可以生成,主要看你给模型喂了什么。

自从有了这项神奇的技术,左拥老婆、右抱宠物,车房都有。

        format,png      

不过,从之前的生成结果来看,StyleGAN 虽神奇但并非完美,生成的图像经常产生瑕疵与缺陷。在最新模型 StyleGAN 2 中,团队针对缺陷问题进行了深入研究,通过改进模型架构和实例规范化方法等,在提升了图片质量、优化细节的同时,还可以对图像是否有模型生成进行检测,加速训练。

这次 StyleGAN2 的提出,不仅提升了生成效果,在一定程度上又再一次为大家提供了无条件图像生成技术的新标准。

我们先看一波完整的介绍视频:

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

 

新一代完美升级

 

 

1、模型架构的改进:解决奇怪的不明物体生成问题

      

首先,上图是这项工作中解决的第一个问题——去除奇怪不明的斑点。这个问题,我们在一代生成结果中经常会见到。为了解决这个问题,研究人员把生成器的架构进行了重新设计,由此前的下自适应实例归一化 → 生成器的实例归一化。

上一代 StyleGAN 的模型架构设计和细节和新一代 StyleGAN 的模型架构设计和细节如如图(a)、(b)和图(c)、(d)所示:

       

新方法无论是在生成的图像还是特征图上都解决了这个问题。

      

 

2、训练方法的改进生成细节

再看生成图片的细节,研究人员指出,此前的图像中会有脸部特征不协调的现象,组合起来不匹配,有些细节可能乍看上去并不显眼,导致这个问题的原因是在上一代 StyleGAN 中采用了 Progressive Growing 的训练方法,细节对位置有强偏好,特征发生移动时,位置不能随之发生相应的变化移动。

  

这次,研究人员借鉴了 MSG-GAN 模型架构的跳层连接(下图a),在此基础上对生成器和判别器进行优化,分别采用上采样和下采样(下图b),最后用残差网络(下图c)改进判别器。

 

这样一来,生成人脸的五官特征可以同时变化,不得不说,更挑不出毛病了。

  

 

3、模型新玩法

除了上面在图像合成效果和质量上的改进与优化,这次的 StyleGAN2 还有一个新玩法:可以把图像输入到模型中,如果能够完美复现,那就说明这个东西是「Made in StyleGAN」,并非真实存在于世间的。

作者指出,与此前反向合成网路的方法不同,他们使用了斜坡下降噪声并优化了生成器的随机噪声输入。

 

4、不止表现更好了,训练也快了

上一代 StyleGAN 在 1024 * 1024 分辨率下,用 NVIDIA DGX-1、8 Tesla V100 GPUs 每秒可训练 37 张图像,而配置 E 的训练速度可达 61img/s,提速 40%。配置 F(更大的网络)以 31 img/s 的速度进行训练,因此训练成本仅略高于最原始的 StyleGAN,而训练时间大大缩减,FFHQ 的总训练时间为 9 天,LSUN CAR 的总训练时间为 13 天。   

 

算法代码开源

 

这么好用,如果不亲自上手岂不辜负。目前,STyleGAN2 已经在 GitHub 开源并获得将近 1.2k Stars,在 Github Trending 排行榜中位列 Top 1。

  

不仅大家 Star 积极,还有更积极的网友,比如 @manicman1999 已经在 TF2.0 中复现了 STyleGAN2 并将项目代码开源了,下面是他 Mixing Styles 的结果。

还在等什么?我们在下方把论文地址、官方 TensorFlow 的复现地址都分享给大家,今天晚上又有得干了!

Paper:

http://arxiv.org/abs/1912.04958

官方 TensorFlow 复现

https://github.com/NVlabs/stylegan2

网友非官方 TF2.0 复现

https://github.com/manicman1999/StyleGAN2-Tensorflow-2.0

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/csdnnews/article/details/103590681

智能推荐

18个顶级人工智能平台-程序员宅基地

文章浏览阅读1w次,点赞2次,收藏27次。来源:机器人小妹  很多时候企业拥有重复,乏味且困难的工作流程,这些流程往往会减慢生产速度并增加运营成本。为了降低生产成本,企业别无选择,只能自动化某些功能以降低生产成本。  通过数字化..._人工智能平台

electron热加载_electron-reloader-程序员宅基地

文章浏览阅读2.2k次。热加载能够在每次保存修改的代码后自动刷新 electron 应用界面,而不必每次去手动操作重新运行,这极大的提升了开发效率。安装 electron 热加载插件热加载虽然很方便,但是不是每个 electron 项目必须的,所以想要舒服的开发 electron 就只能给 electron 项目单独的安装热加载插件[electron-reloader]:// 在项目的根目录下安装 electron-reloader,国内建议使用 cnpm 代替 npmnpm install electron-relo._electron-reloader

android 11.0 去掉recovery模式UI页面的选项_android recovery 删除 部分菜单-程序员宅基地

文章浏览阅读942次。在11.0 进行定制化开发,会根据需要去掉recovery模式的一些选项 就是在device.cpp去掉一些选项就可以了。_android recovery 删除 部分菜单

mnn linux编译_mnn 编译linux-程序员宅基地

文章浏览阅读3.7k次。https://www.yuque.com/mnn/cn/cvrt_linux_mac基础依赖这些依赖是无关编译选项的基础编译依赖• cmake(3.10 以上)• protobuf (3.0 以上)• 指protobuf库以及protobuf编译器。版本号使用 protoc --version 打印出来。• 在某些Linux发行版上这两个包是分开发布的,需要手动安装• Ubuntu需要分别安装 libprotobuf-dev 以及 protobuf-compiler 两个包•..._mnn 编译linux

利用CSS3制作淡入淡出动画效果_css3入场效果淡入淡出-程序员宅基地

文章浏览阅读1.8k次。CSS3新增动画属性“@-webkit-keyframes”,从字面就可以看出其含义——关键帧,这与Flash中的含义一致。利用CSS3制作动画效果其原理与Flash一样,我们需要定义关键帧处的状态效果,由CSS3来驱动产生动画效果。下面讲解一下如何利用CSS3制作淡入淡出的动画效果。具体实例可参考刚进入本站时的淡入效果。1. 定义动画,名称为fadeIn@-webkit-keyf_css3入场效果淡入淡出

计算机软件又必须包括什么,计算机系统应包括硬件和软件两个子系统,硬件和软件又必须依次分别包括______?...-程序员宅基地

文章浏览阅读2.8k次。计算机系统应包括硬件和软件两个子系统,硬件和软件又必须依次分别包括中央处理器和系统软件。按人的要求接收和存储信息,自动进行数据处理和计算,并输出结果信息的机器系统。计算机是脑力的延伸和扩充,是近代科学的重大成就之一。计算机系统由硬件(子)系统和软件(子)系统组成。前者是借助电、磁、光、机械等原理构成的各种物理部件的有机组合,是系统赖以工作的实体。后者是各种程序和文件,用于指挥全系统按指定的要求进行..._计算机系统包括硬件系统和软件系统 软件又必须包括

随便推点

进程调度(一)——FIFO算法_进程调度fifo算法代码-程序员宅基地

文章浏览阅读7.9k次,点赞3次,收藏22次。一 定义这是最早出现的置换算法。该算法总是淘汰最先进入内存的页面,即选择在内存中驻留时间最久的页面予以淘汰。该算法实现简单,只需把一个进程已调入内存的页面,按先后次序链接成一个队列,并设置一个指针,称为替换指针,使它总是指向最老的页面。但该算法与进程实际运行的规律不相适应,因为在进程中,有些页面经常被访问,比如,含有全局变量、常用函数、例程等的页面,FIFO 算法并不能保证这些页面不被淘汰。这里,我_进程调度fifo算法代码

mysql rownum写法_mysql应用之类似oracle rownum写法-程序员宅基地

文章浏览阅读133次。rownum是oracle才有的写法,rownum在oracle中可以用于取第一条数据,或者批量写数据时限定批量写的数量等mysql取第一条数据写法SELECT * FROM t order by id LIMIT 1;oracle取第一条数据写法SELECT * FROM t where rownum =1 order by id;ok,上面是mysql和oracle取第一条数据的写法对比,不过..._mysql 替换@rownum的写法

eclipse安装教程_ecjelm-程序员宅基地

文章浏览阅读790次,点赞3次,收藏4次。官网下载下载链接:http://www.eclipse.org/downloads/点击Download下载完成后双击运行我选择第2个,看自己需要(我选择企业级应用,如果只是单纯学习java选第一个就行)进入下一步后选择jre和安装路径修改jvm/jre的时候也可以选择本地的(点后面的文件夹进去),但是我们没有11版本的,所以还是用他的吧选择接受安装中安装过程中如果有其他界面弹出就点accept就行..._ecjelm

Linux常用网络命令_ifconfig 删除vlan-程序员宅基地

文章浏览阅读245次。原文链接:https://linux.cn/article-7801-1.htmlifconfigping <IP地址>:发送ICMP echo消息到某个主机traceroute <IP地址>:用于跟踪IP包的路由路由:netstat -r: 打印路由表route add :添加静态路由路径routed:控制动态路由的BSD守护程序。运行RIP路由协议gat..._ifconfig 删除vlan

redux_redux redis-程序员宅基地

文章浏览阅读224次。reduxredux里要求把数据都放在公共的存储区域叫store里面,组件中尽量少放数据,假如绿色的组件要给很多灰色的组件传值,绿色的组件只需要改变store里面对应的数据就行了,接着灰色的组件会自动感知到store里的数据发生了改变,store只要有变化,灰色的组件就会自动从store里重新取数据,这样绿色组件的数据就很方便的传到其它灰色组件里了。redux就是把公用的数据放在公共的区域去存..._redux redis

linux 解压zip大文件(解决乱码问题)_linux 7za解压中文乱码-程序员宅基地

文章浏览阅读2.2k次,点赞3次,收藏6次。unzip版本不支持4G以上的压缩包所以要使用p7zip:Linux一个高压缩率软件wget http://sourceforge.net/projects/p7zip/files/p7zip/9.20.1/p7zip_9.20.1_src_all.tar.bz2tar jxvf p7zip_9.20.1_src_all.tar.bz2cd p7zip_9.20.1make && make install 如果安装失败,看一下报错是不是因为没有下载gcc 和 gcc ++(p7_linux 7za解压中文乱码