Jan, 2023

StyleGAN-T: 用于快速大规模文本到图像合成的GAN强化技术

HTML
PDF
TL;DR该论文旨在使用生成对抗网络改进大规模文本到图像合成，提出了StyleGAN-T模型，它在大规模文本到图像合成中具有大容量、稳定的训练、强文本对齐和可控变化与文本对齐平衡等特点，并在样本质量和速度方面显著优于以前的生成对抗网络和蒸馏扩散模型。
发现论文，激发创造
  • 生成对抗网络在图像合成中的介绍

    本文提供了生成对抗网络在图像合成中的方法分类、文本到图像合成和图像到图像翻译的不同模型的回顾、以及一些评估指标及未来可能的研究方向。

    Mar, 2018

  • DM-GAN: 动态记忆生成对抗网络用于文本到图像合成

    本研究提出一种动态内存生成对抗网络（DM-GAN），用于解决现有文字生成图片方法在生成高质量图像过程中存在的问题。DM-GAN 能够更准确地从文本描述生成图像，其中一个动态内存模块被引入以完善模糊的图像内容，并通过一个内存写入门来选择重要的文本关键信息。实验结果表明，DM-GAN 模型在 Caltech-UCSD 鸟类 200 数据集和 Microsoft COCO 数据集上的性能超越了现有方法。

    Apr, 2019

  • 对抗性文本到图像合成：综述

    该论文综述了生成对抗网络在文本到图像合成方面的发展以及面临的挑战，提出了一些研究方向，包括评估指标、数据集和模型架构设计等方面的改进。

    Jan, 2021

  • MobileStyleGAN: 一种用于高保真图像合成的轻量级卷积神经网络

    本篇论文的研究目的是探讨如何在边缘设备上使用风格生成网络，并引入MobileStyleGAN结构，其参数量和计算复杂度分别为StyleGAN2的1/3.5和1/9.5，同时提供可比较的生成质量。

    Apr, 2021

  • StyleMC: 基于多通道快速文字引导的图像生成和操作

    本文提出了一种快速高效的以文本驱动的图像生成和操控方法——StyleMC，利用CLIP的loss和identity loss进行图像操控，不需要工程设计，仅需少量文本prompt训练即可找到稳定的全局direction，比之前的方法更加高效

    Dec, 2021

  • StyleGAN-XL：将StyleGAN扩展到大规模多样化数据集

    使用强大的神经网络先验和渐进增长策略，成功地在ImageNet上训练了最新的StyleGAN3生成器，创造了新的StyleGAN-XL模型，并在大规模图像合成方面取得最新的技术突破。

    Feb, 2022

  • StyleGAN 架构、方法与应用的最新技术

    本文介绍了GANs和StyleGAN，讨论了其在图像合成和潜在空间方面的应用和研究趋势，强调了其生成图像编码的潜力和限制，以及视觉先验的构建和使用，同时指出了任务和目标特定的研究方向。

    Feb, 2022

  • StudioGAN：图像合成 GAN 的分类和基准

    该研究提出了一个基于7种GAN架构、9种调节方法、4种对抗性损失以及13种正则化模块、3种可微增强方法、7种评估指标和5种评估指标的开源库StudioGAN，通过在多种数据集和三种不同的评估骨干(InceptionV3，SwAV和Swin Transformer)上训练基于BigGAN，StyleGAN2和StyleGAN3等最新生成模型的统一训练流水线中的可代表性GAN，并使用7种评估指标量化生成性能的大规模基准测评了各种前沿的生成模型，提供了预训练权重的GAN实现、训练和评估脚本。

    Jun, 2022

  • 文本到图像合成的GAN扩展

    本文提出了一种新的GAN架构GigaGAN，用于文本到图像合成，并比较了其与传统的GANs和DALL-E2的性能，结果表明GigaGAN可以快速且高质量地合成高分辨率图像。

    Mar, 2023

  • 样式生成：基于粗略匹配的图像合成

    使用粗略匹配的文本作为引导，本研究介绍了一种新颖的基于文本的风格生成方法，通过两阶段的生成对抗网络生成与细化图像风格，并通过实验证实了该方法的有效性和实际应用价值。

    Sep, 2023