GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

2023-04-27 20:56:26 来源:程序员客栈


【资料图】

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

标签:

GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

点蓝色字关注“机器学习算法工程师”设为星标,干货直达!自从DALL·E2之后,在图像生成方面扩散模型替...

2023-04-27 20:56:26

深化鲁沪人才合作发展大计 山东着力打造青年人才会客厅

齐鲁网·闪电新闻4月27日讯为深入实施“青年人才集聚行动”,搭建与上海等地区人才交流和对接平台,推介...

2023-04-27 20:15:26

港服PS+会员五月会免公布 与欧美服一致 全球聚焦

索尼公布了港服PSPlus会员五月会免游戏,与欧美服一致,也是三款游戏。

2023-04-27 19:26:55

医学生都去哪儿了?东北多家医院编制招不到人,好三甲挤破头也进不去

医学生都去哪儿了?东北多家医院编制招不到人,好三甲挤破头也进不去,学历,医生,医师,招聘,医学生,卫生类

2023-04-27 18:39:45

中阿经贸合作加强 阿根廷将使用人民币结算从中国进口的商品 环球快资讯

央视网消息:当地时间26日,阿根廷经济部长马萨召开新闻发布会,宣布阿根廷将停止使用美元来支付从中国

2023-04-27 18:13:54

我国煤炭价格持续下行 增产保供见成效 天天快播

央视网消息:今年以来,多方推进煤炭增产保供工作,产量得到提升,价格也出现下行。据中国煤炭工业协会统计

2023-04-27 17:38:51

生态环境部:全国生态保护红线已完成划定|天天微动态

人民网北京4月27日电(欧阳易佳)生态环境部今日召开例行新闻发布会,生态环境部自然生态保护司司长王志斌

2023-04-27 17:18:54

铜陵市财经学校:二十年演绎求索进取的育人范本

铜陵市财经学校是经市教育主管部门批准、省教育厅备案的一所中等职业技术学校。学校东校区坐落在美丽的水乡

2023-04-27 16:45:58

深圳设计周发布城市视觉大片《敢闯敢试》

4月27日上午举行的深圳设计周开幕式,首发了2023深圳城市视觉大片《敢闯敢试》,以科幻手法、数字视觉技术

2023-04-27 16:16:07

04月28日(周五)博弈分析:构筑下跌中继

【04月28日(周五)博弈分析:构筑下跌中继】盘面回顾沪指跌0 02%,深证成指涨0 33%,创业板指涨1 54%。新能

2023-04-27 15:49:06
x 广告
x 广告

Copyright ©  2015-2022 华中经营网版权所有  备案号:京ICP备12018864号-26   联系邮箱:2 913 236 @qq.com