视频换脸新境界:CMU不仅给人类变脸,还能给花

2019-08-16 13:31栏目:互联网平台

圆栗子 发自 凹非寺

这份教程全面详细,想学CycleGAN不能错过这个:

和喷气一般的云,学习了之后,就获得了急躁的节奏。

详细内容

除此之外,再看云卷云舒 (片头也出现过) :

图片 1

效果怎么样?

前向循环一致性损失为:

—返回搜狐,查看更多

这个教程中使用的模型体系结构与Pix2Pix中很类似,但也有一些差异,比如Cyclegan使用的是实例规范化而不是批量规范化,比如Cyclegan论文使用的是修改后的resnet生成器等。

原标题:视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV 2018

你还可以用更多次的迭代改善结果,或者实现论文中修改的ResNet生成器,进行知识点的进一步巩固。

一是,如果没有成对数据,那在视频变身的优化上,给的限制就不够,容易产生不良局部极小值 (Bad Local Minima) 而影响生成效果。

!pip install -q git

大家可能已经习惯这样的操作了。

那么,怎样的迁移才可走出这个框框,让这个星球上的万物,都有机会领取视频改造的恩泽?

3、导入并重新使用Pix2Pix模型

图片 2

图片 3

云,也变得急切了

安装tensorflow_examples包,用于导入生成器和鉴别器。

作者系网易新闻·网易号“各有态度”签约作者

看了黎明之前的视频,就跟着变了日出:

图片 4

翻来覆去的,比CycleGAN的历程还要艰辛。好像终于感受到,Recycle-GAN这个名字是有道理的。

图片 5

图片 6

通过安装tensorflow_examples包,从Pix2Pix中导入生成器和鉴别器。

你开花,我就开花

不成对的二维图像数据,来训练视频重定向(Video Retargeting) 并不容易:

喜欢就点「好看」吧 !

对抗损失(Adversarial Loss) ,朱俊彦团队的循环损失(Cycle Loss) ,反复损失(Recurrent Loss) ,以及CMU团队自己造的“再”循环损失(Recycle Loss) 都用上,才是强大的损失函数

也是目前大火的“换脸”技术的老前辈了。

Pix2Pix是有成对数据的;CycleGAN靠的是循环一致性 (Cycle Consistency) ;RecycleGAN用的是视频流的时间信息

图片 7

这位选手,入选了ECCV 2018

我们训练两个生成器和两个鉴别器。生成器G架构图像X转换为图像Y,生成器F将图像Y转换为图像X。

最后吐个槽

有国外网友称赞太棒,表示很高兴看到TensorFlow 2.0教程中涵盖了最先进的模型。

代码也快来了

现在,TensorFlow开始手把手教你,在TensorFlow 2.0中CycleGAN实现大法。

原本是日落:

在上面的教程中,我们学习了如何从Pix2Pix中实现的生成器和鉴别器进一步实现CycleGAN,接下来的学习你可以尝试使用TensorFlow中的其他数据集。

图片 8

图片 9

然后,看一下Recycle-GAN,是怎样在两段视频的图像之间,建立映射的。

—完—

图片 10

在CycleGAN中,因为没有用于训练的成对数据,因此无法保证输入X和目标Y在训练期间是否有意义。因此,为了强制学习正确的映射,CycleGAN中提出了“循环一致性损失”(cycle consistency loss)。

时间信息:进度条撑不住了 (误)

1、设置输入Pipeline

论文请至这里观察:

图片 11

重要的是,视频里的时间信息唾手可得,无需寻觅。

图片 12

团队在项目主页里,提供了丰富的生成效果:

图片 13

图片 14

例如将一个句子和英语翻译成法语,再将其从法语翻译成英语后,结果与原始英文句子相同。

图片 15

在循环一致性损失中,图像X通过生成器传递C产生的图像Y^,生成的图像Y^通过生成器传递F产生的图像X^,然后计算平均绝对误差X和X^。

Recycle-GAN,是一只无监督学习的AI。

鉴别器D_X区分图像X和生成的图像X,辨别器D_Y区分图像Y和生成的图像Y。

或许是怀着超越大前辈Cycle-GAN(来自朱俊彦团队) 的意味,团队给自家的GAN起了个非常环保的名字,叫Recycle-GAN

7、使用测试集生成图像

版权声明:本文由www.98455.com发布于互联网平台,转载请注明出处:视频换脸新境界:CMU不仅给人类变脸,还能给花