Dec, 2023

为了正确的收益选择恰当的损失函数：使用分布敏感的损失函数改善深度文本到图像生成的语义一致性

PDF
TL;DR使用对比学习方法和两个损失函数（fake-to-fake 和 fake-to-real）来提高文本到图像合成任务中生成图像的语义一致性和精细细节，实验结果在 CUB 数据集上的 AttnGAN 模型和 COCO 数据集上的 Lafite 模型上优于现有方法。
deep neural networkstext-to-image generationlinguistic discrepancycontrastive learningfine-grained details
发现论文，激发创造
  • 采用对比学习改进文本生成图像技术

    本篇论文提出一种基于对比学习方法的文本到图像合成框架，旨在提升合成图像的质量和语义一致性，通过对 pretraining 和 GAN training 阶段进行改进，该方法在两个流行数据集上的实验结果表明，相对于 AttnGAN 和 DM-GAN，能够显著提高合成图像的质量。

    Jul, 2021

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 使用感知损失的对抗网络进行文字到图像的合成

    本文提出一种改进的基于 GAN 的文本图像生成方法，通过优化感知损失函数，可以生成更具感染力、质量更高的鸟和花卉的合成图像。

    Aug, 2017

  • 文本到图像生成的语义分离

    该文提出了一种新的文本图像生成模型，使用基于语义的标准化处理和图像嵌入策略来实现高水平的语义一致性和低水平的语义多样性，并在 CUB 和 MS-COCO 数据集上展示了其优异性能。

    Apr, 2019

  • GANs 的双对比损失和注意力

    本文提出了多项改进，包括新型的双重对比损失和重塑注意力机制，来加强生成对抗网络的无条件图像生成能力，在多个基准数据集上将最先进的状态压制得更为出色。

    Mar, 2021

  • 通过对抗学习进行语义图像合成

    本文提出了一种使用自然语言描述直接合成逼真图像的方法，它有很多有用的应用，例如智能图像操作。我们提出了一种端到端的神经架构，利用对抗学习自动学习隐式损失函数，实现语义分离并生成新图像。通过在 Caltech-200 鸟类数据集和 Oxford-102 花卉数据集上进行实验，我们证明了我们的模型能够合成符合描述要求的逼真图像，同时仍保留原始图像的其他特征。

    Jul, 2017

  • CPGAN：全谱内容解析生成对抗网络用于文本到图像合成

    通过解析输入文本和合成图像的内容，构建一个内存结构并设计条件鉴别器，建立文本与图像在语义级别的一致性，从而提高文本到图像的生成性能。

    Dec, 2019

  • 学习生成语义布局以实现文本到图像综合中更高的文本 - 图像对应性

    通过利用可用的语义布局，我们提出了一种增强文本 - 图像对应关系的新方法。具体而言，我们提出了一种高斯 - 分类扩散过程，同时生成图像和相应的布局对。我们的实验证明，通过训练模型为每个像素生成语义标签，我们可以引导文本 - 图像生成模型意识到不同图像区域的语义，从而达到比现有方法更高的文本 - 图像对应关系。

    Aug, 2023

  • 语义图像合成只需要对抗监督

    通过重新设计辨别器作为语义分割网络，直接使用给定的语义标签映射作为训练的地面实况，通过提供更强的监督和对空间和语义感知的辨别器反馈以及通过向生成器注入 3D 噪声张量进行全局和局部采样，我们能够合成更高保真度的图像，并实现高质量的多模态图像合成。

    Dec, 2020

  • SemI2I：面向遥感数据域自适应的语义一致图像翻译

    本文介绍了一种基于生成对抗网络的数据增强方法，可以有效地解决卷积神经网络在训练和测试数据之间存在领域差异时性能显著降低的问题。实验结果表明，该方法在领域自适应上表现出优异的性能。

    Feb, 2020