StyleGAN 架构、方法与应用的最新技术
使用改进的模型结构和训练方法,对StyleGAN生成器的规范化、进化成长和正则化进行了重新设计,并引入了路径长度正则化器,以改善图像质量和生成器的可逆属性。通过可视化生成器对其输出分辨率的使用情况,识别容量问题并进行大规模模型的训练,使得该模型在无条件图像建模领域中的分布质量和感知图像质量均达到了最高水平。
Dec, 2019
本文介绍了一种基于 StyleGAN 的语义编辑方法,可以局部移植另一张图像的特征,而不需要额外的监督或复杂的操作,实现了对 GAN 图像的语义编辑,并提高了图像的真实感。
Apr, 2020
通过在中间的潜空间使用具有空间维度的调制替换AdaIN,我们提出了StyleMapGAN,它使得通过编码器的嵌入比现有基于优化方法更加准确,同时保持GAN的属性。实验结果表明,我们的方法在各种图像操作任务中显著优于最先进的模型。
Apr, 2021
本研究提出了一种新的视频合成方法,通过将空间域和时间域分离,利用预训练的StyleGAN网络的潜在空间进行训练,成功地生成了高质量的人像视频,并显著降低了所需训练数据和资源的数量。
Jul, 2021
通过训练一个生成器来分别对局部语义部分进行建模,控制不同区域的纹理并且实现更加细粒度的合成和编辑,SemanticStyleGAN作为具有内置解缠结的通用先验模型,可以促进基于GAN的应用程序的发展并实现更多的下游任务。
Dec, 2021
使用强大的神经网络先验和渐进增长策略,成功地在ImageNet上训练了最新的StyleGAN3生成器,创造了新的StyleGAN-XL模型,并在大规模图像合成方面取得最新的技术突破。
Feb, 2022
该研究提出了一个基于7种GAN架构、9种调节方法、4种对抗性损失以及13种正则化模块、3种可微增强方法、7种评估指标和5种评估指标的开源库StudioGAN,通过在多种数据集和三种不同的评估骨干(InceptionV3,SwAV和Swin Transformer)上训练基于BigGAN,StyleGAN2和StyleGAN3等最新生成模型的统一训练流水线中的可代表性GAN,并使用7种评估指标量化生成性能的大规模基准测评了各种前沿的生成模型,提供了预训练权重的GAN实现、训练和评估脚本。
Jun, 2022
本文研究了如何通过提出的层次语义约束器(HSR)来改善StyleGANs生成的图像的真实性和自然性,同时提出新的Attribute Linearity Score (ALS)来衡量属性变量的线性度。实验表明,HSR可以对生成器学习到的分层表征进行约束,从而提高样式编辑后的图像的自然度和真实性,并同时提高了其属性变量的线性度。
Aug, 2022
该论文旨在使用生成对抗网络改进大规模文本到图像合成,提出了StyleGAN-T模型,它在大规模文本到图像合成中具有大容量、稳定的训练、强文本对齐和可控变化与文本对齐平衡等特点,并在样本质量和速度方面显著优于以前的生成对抗网络和蒸馏扩散模型。
Jan, 2023