GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型 世界观焦点

2023-04-30 06:45:53 来源:程序员客栈


(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

标签

「热点排名」杭州肤康-专业治疗紫癜|热推荐

  杭州肤康-专业治疗紫癜  杭州肤康是专业治疗紫癜的医疗机构,以*

2023-06-25 16:18:40

顽固性呃逆有什么好的治疗方法_导致顽固性呃逆的原因

1、顽固性呃逆又称膈肌痉挛,是由于膈肌、膈神经、迷走神经和中枢神经

2023-06-25 16:05:47

华鑫证券-传媒新消费行业周报:震荡中展望2023下半年-230625

▌本周观点更新2023年端午节前传媒板块热门个股回调,情绪面的短期释放

2023-06-25 15:06:18

钙钛矿,何时能把光伏换新天?

钙钛矿,何时能把光伏换新天?随着全球绿色经济热度上升,如何获得更多

2023-06-25 14:35:27

每日速读!山水人文电影《白沙溪》在沪首映,解读绿水青山下的幸福密码

昨日,山水人文电影《白沙溪》全球首映式暨走进“长三角”婺城文旅推介

2023-06-25 14:00:25

2023“在西宁”城市电音节掀起夏日狂欢

图为2023“在西宁”城市电音节演出现场。 张海雯 摄中新网西宁6月25

2023-06-25 13:12:26

上海市教育考试院建议考生:填志愿“广种博收”增加选择机会

“如果说寒窗十二年苦读的成果,给了大家一把打开大学校门的钥匙,那么

2023-06-25 12:53:07

图表工具下包含的选项卡个数为_图表工具|全球观点

1、点击随意一张图表,就进入到图表工具了。2、设置方法如下:首先在电

2023-06-25 12:08:29

赏民俗品文化 欢度端午假期_即时看

央视新闻客户端消息(新闻联播):端午假期,人们出游赏景、体验民俗,在

2023-06-25 11:43:27

天天微动态丨1.06亿人次出游!端午节假期国内旅游收入373.10亿元

松花江网,是经国家互联网信息办公室批准的国家一类新闻网站,吉林省重

2023-06-25 10:56:33
x 广告
x 广告

Copyright  2015-2022 南极粮油网版权所有  备案号:粤ICP备2022077823号-13   联系邮箱: 317 493 128@qq.com