ICCVAug, 2023

通过语义变化提高零样本 GAN 适应性中的多样性

PDF
TL;DR通过在 CLIP 空间中找到目标文本的语义变化，设计一种新颖的方向矩损失函数，以匹配图像和文本方向分布的一、二阶矩，并引入弹性权重合并和关系一致性损失，确保了零样本 GAN 适应中样本多样性和质量的最新最有效方法。
zero-shot gan adaptationclipmode collapsesemantic variationsdirectional moment loss
发现论文，激发创造
  • StyleGAN-NADA：基于 CLIP 引导的图像生成器域自适应

    使用大规模对比性语言 - 图像预训练（Contrastive-Language-Image-Pre-training，CLIP）模型极具语义能力的特点，实现了使用文本提示来训练生成模型，无需看到图像的 “盲目” 图像生成方法。通过少量的训练，我们的方法不断适应多个具有不同样式和形状特征的领域，并维持对未来任务有吸引力的潜在空间属性。

    Aug, 2021

  • 对 Few-shot 图像生成技术的深入研究

    在小目标数据上进行预训练的 GANs 会在生成图像时出现重复样本的问题，研究者提出了几种方法来解决这个问题，但当前缺乏一个统一的分析框架。该论文提出了一个框架来分析现有方法，并发现某些方法过于注重多样性维护，反而抑制了图像质量的提高。在此基础上，研究者提出了一种双重对比学习的方法来缓解多样性退化问题，实验结果表明该方法取得了较好的性能。

    May, 2022

  • 只需一個 CLIP，即可將 GAN 進行單次適應

    本研究提出了一种采用统一 CLIP 空间变换的单次生成器适应方法，该方法采用基于 CLIP 导向的潜变量优化进行参考图像搜索，并使用新的损失功能进行生成器微调以实现 CLIP 空间一致性。此外，研究者还提出了一种面向 CLIP 空间的路径关系对比正则化方法，以进一步提高生成模型的效果。该方法能够有效地进行属性编辑且具有较好的实验结果。

    Mar, 2022

  • 无监督文本到图像生成的变分分布学习

    本文提出了一种基于深度神经网络的文本到图像生成算法，使用预训练的 CLIP 模型和变分推断的方式，优化算法并取得了在无监督和半监督文本图像生成任务下 beat state-of-the-art 的结果。

    Mar, 2023

  • 多样化和个性化的图像生成用于零 - shot 多标签分类

    通过生成合成数据，用于训练未见标签的分类器，本文介绍了一种用于零样本多标签分类的创新解决方案，包括使用大型语言模型生成多样的提示，使用 CLIP 模型进行图像筛选，以及使用特征融合模块来提高目标任务的视觉特征。实验结果验证了该方法的有效性，并显示出与现有方法相比的显著改进。

    Apr, 2024

  • 使用 GAN 进行视觉数据合成，用于零样本视频分类

    本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题，并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力，实验结果表明这种方法可以显著提高零样本视频分类的性能。

    Apr, 2018

  • 泛零样本学习生成对抗网络

    本文研究了广义零样学习问题，提出了一种新的模型联合了三种不同的方法：视觉 -> 语义映射，语义 -> 视觉映射和度量学习，并且将它们统一在一个框架内，最终的实验结果表明该模型不仅在分类已知类别的图像上具有较高的准确性，而且在分类未知类别的图像上性能也比现有的最先进模型要更好。

    Nov, 2018

  • 为了正确的收益选择恰当的损失函数：使用分布敏感的损失函数改善深度文本到图像生成的语义一致性

    使用对比学习方法和两个损失函数（fake-to-fake 和 fake-to-real）来提高文本到图像合成任务中生成图像的语义一致性和精细细节，实验结果在 CUB 数据集上的 AttnGAN 模型和 COCO 数据集上的 Lafite 模型上优于现有方法。

    Dec, 2023

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 跨域对应实现小样本图像生成

    利用预训练的跨域远程监督来降低过拟合，使用锚定策略以鼓励不同程度的真实感，实现源域和目标域之间的自动对应和生成更多样化和逼真的图像的少样本学习模型。

    Apr, 2021