GANzilla: 生成对抗网络中用户驱动的方向发现
本文介绍了一种基于 StyleGAN 的语义编辑方法,可以局部移植另一张图像的特征,而不需要额外的监督或复杂的操作,实现了对 GAN 图像的语义编辑,并提高了图像的真实感。
Apr, 2020
本文研究如何扩展GAN模型可达到的视觉效果,通过在生成器参数空间中探索方向,发现了许多可解释性方向,这是非常重要的,因为这些方向可以用于语义操作,这些操作无法通过转换潜在的向量代码实现。
Nov, 2020
本文提出了一种不需要训练的基于补丁的优化框架,比单个图像GAN方法快1000~10000倍,并产生比任何以前的方法(无论是基于GAN还是基于经典补丁的方法)更优越的结果和更真实的整体结构,应用广泛,如图像编辑和重塑大小。
Mar, 2021
本文介绍了GANs和StyleGAN,讨论了其在图像合成和潜在空间方面的应用和研究趋势,强调了其生成图像编码的潜力和限制,以及视觉先验的构建和使用,同时指出了任务和目标特定的研究方向。
Feb, 2022
提出了一种基于非负张量分解的无监督学习方法,通过发掘卷积神经网络特征图中表示空间部分和外观特征的因子,实现基于像素级控制的上下文感知局部图像编辑,并证明外观因子对应于显著性图,可以定位感兴趣的概念,具有比现有方法更高的准确性和更少的训练时间。
May, 2022
该研究提出了一个基于7种GAN架构、9种调节方法、4种对抗性损失以及13种正则化模块、3种可微增强方法、7种评估指标和5种评估指标的开源库StudioGAN,通过在多种数据集和三种不同的评估骨干(InceptionV3,SwAV和Swin Transformer)上训练基于BigGAN,StyleGAN2和StyleGAN3等最新生成模型的统一训练流水线中的可代表性GAN,并使用7种评估指标量化生成性能的大规模基准测评了各种前沿的生成模型,提供了预训练权重的GAN实现、训练和评估脚本。
Jun, 2022
该论文提出了一种基于梯度信息的新方法,探索生成对抗网络(latent space)中的非线性控制,实现了多方向控制和有效解缠,这使得GANs的可控生成问题得到了解决。
Sep, 2022
生成对抗网络(GANs)是在多个领域中生成逼真、多样化数据的强大工具。本研究综述了GANs的潜在架构、验证指标和应用领域,并探讨了GAN与Jensen-Shannon散度之间的深刻联系以及GAN框架的最优性特征。对GAN变体的效率、模型架构以及训练障碍和解决方案进行了评估,并详细讨论了GAN与Transformer、物理信息神经网络、大型语言模型和扩散模型等新开发的深度学习框架的整合。最后,揭示了该领域的若干问题和未来研究方向。
Aug, 2023
通过利用大规模的文本到图像扩散模型进行数据提炼,我们提出了一种更高效的方法,通过精细调整通用化特征的基础生成对抗网络模型,而不是重新训练整个基础模型,并采用简单但有效的秩搜索过程来进行低秩适应,从而显著减少了培训成本和与每个概念相关的存储,使得移动设备能够高效地实现实时高质量的图像编辑。
Jan, 2024
通过将预训练的生成对抗网络(GAN)模型中代表特定、可控属性的方向转移至扩散模型中,GANTASTIC提出了一种新颖的框架,既保持了扩散模型已知的生成质量和多样性,又显著增强了其进行精确、有针对性的图像编辑的能力。
Mar, 2024