查看原文
其他

【系列】深入浅出解读GAN!

2017-04-14 张江 集智俱乐部

前言

也许你已经被对抗生成网络、对偶学习等高大上的概念吸引,也许你正沉浸在pix2pix这个好玩的程序之中。那么,你不想知道究竟什么是GAN吗?它的工作原理又是什么?它会向哪个方向深入发展?

事实上,GAN并不仅仅能够生成各种新鲜有趣的图片,它也是一整套机器学习框架,甚至于一种寓意深刻的思想方法。

我们知道,现在的机器学习擅长的是对图片、语音、文本等进行分类,我输入给神经网络一张图片,它就可以输出一个数,告诉我这个图片是猫还是狗。现在,科学家们希望把这个过程反过来,也就是我输入一个数,神经网络则给我一张图片。这就是所谓的生成过程。

在GAN出现之前,人们已经找到了一些生成图片、语言等的方法,比如自编码器(AutoEncoder),或者反卷积神经网络(De-convolution)等。但是,这些生成方法得到的图片结果却总是效果不佳,而且训练也很慢。于是,Ian Goodfellow就提出了一种全新的方法,它创造性地把深度学习的一体问题转化为了一个二体问题。也就是说,本来我想得到的是一个生成器(一体),但是GAN方法却同时训练了两个神经网络(二体):一个是生成器,一个是判别器。令人意想不到的是,将两个网络一起训练不仅没有增加我们的负担,反而会同时将生成器和判别器一起训练好。


具体的,我们可以把GAN的思想表示成如下框图:


其中生成网络专门为了造假,生成各种伪造的人脸,而辨别网络则专门负责甄别输入的图是真实的人脸还是伪造的赝品。这两个网络一起训练。这样,生成网络和辨别网络二者之间就构成了一种零和博弈关系。

令人意想不到的是,正是这样一个二体关系的引入却能大大提升生成器造假的水平。而另一方面,人们发现,这样训练出来的辨别网络居然也能比通常表现更好。

从另一个角度说,GAN的出现以及流行标志着深度学习已经由单体年代进入了多体年代,越来越多的博弈关系的引入将会被引入深度学习框架之中。例如,现在已经有了的Teacher-student架构,以及对偶学习架构实际上都在用二体来训练神经网络。



继续学习课程......


为了将GAN的思想和技术阐述的更详细。集智AI学园推出了系列课程专门讲解各种GAN。你将聆听到三位女生为您解读这些最前沿的技术。



1、深度学习新星——生成对抗网络

首先,让我们来听听北大的姑娘尉方音给我们介绍GAN的工作原理是什么,以及目前比较流行的集中对原始GAN的扩展。

【http://campus.swarma.org/gcou=10128】


课程内容包括:

  • 生成对抗网络原理介绍

  • 一些有趣的GANs发展方向

  • 生成对抗网络在实践中的训练技巧

  • WGAN——GANs的原理突破



2、深度生成对抗网络(DCGAN)的解读与应用 

接下来,秀外慧中的90后美女讲师文雷将向我们详细解读Radford & Luke Metz,  Chintala: Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 这篇经典文献。

【http://campus.swarma.org/gcou=10142】


课程内容包括:

  • 传统生成对抗网络(GAN)的工作原理与缺陷

  • DCGAN的优势总览

  • DCGAN的改进点

  • DCGAN的实验与应用

  • DCGAN总结与未来研究方向



3、GAN与改进型的GANs

最后,如果你想获得理论上的提升,就请听一听中科院理论物理所的甄慧玲博士为我们讲解的这堂课。你将会看到,计算机科学家、物理学家和数学家是如何从不同的视角来看待GAN的。

【http://campus.swarma.org/gcou=10130】


课程内容包括:

1、GAN结构上的改进

  • 模式正则化生成式对抗网络(Mode Regularized GAN)

  • 边界寻找生成式对抗网络(Boundary-Seeking GAN)

  • 最大似然增强的离散生成对抗网络(Maximum Likelihood Augmented Discreted GAN)

  • 最小二乘生成式对抗网络(Least Squares GAN)

  • Wasserstein GAN

2、GAN计算上的改进(正则化、耦合)

  • 能量生成对抗网络(Energy-based GAN)

  • 概率估计深度生成模型(Deep Generative Models with Probability Estimation)

3、我们正在研究并推荐的方法

  • 基于能量模型的变分训练(From variational training of energy-based models)             

  • 从给定目标分布中抽取样本进行概率推理(Draw sample from given target distributions for probabilistic inference)

4、工程学的换位思考——数学辩证法还是物理辩证法?



想进行代码实践吗?

想看小司机直播带你装环境、调试DCGAN代码?

快来扫码入群:






集智QQ群|292641157
商务合作|zhangqian@swarma.org
投稿转载|wangting@swarma.org

◆ ◆ ◆

集智俱乐部

英文名: Swarma Club ,

成立于 2008 年 , 

是一个从事学术研究、

享受科学乐趣的探索者的团体 。

力图搭建一个中国的

 “ 没有围墙的研究所 ”。

搜索公众号:集智俱乐部

让苹果砸得更猛烈些吧!


长按识别二维码,关注集智俱乐部,

让我们离科学探索更近一步。



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存