Aug, 2022

基于记忆的文本到图像生成

PDF
TL;DR提出了一种基于记忆驱动的半参数方法来进行文本生成图像，这种方法基于参数和非参数技术，其中非参数部分是图像特征的记忆库，而参数化部分是生成敌对网络。实验结果表明，所提出的记忆驱动半参数方法在视觉保真度和文本图像语义一致性方面比纯参数方法产生更逼真的图像。
text-to-image generationmemory-driven approachgenerative adversarial networkimage featuressemantic consistency
发现论文，激发创造
  • 半参数图像合成

    采用半参数方法进行基于语义布局的摄影图像合成：利用训练集中构建的图像片段的记忆库与深度网络相结合，比目前纯参数化技术更能生成逼真的图像。

    Apr, 2018

  • DM-GAN: 动态记忆生成对抗网络用于文本到图像合成

    本研究提出一种动态内存生成对抗网络（DM-GAN），用于解决现有文字生成图片方法在生成高质量图像过程中存在的问题。DM-GAN 能够更准确地从文本描述生成图像，其中一个动态内存模块被引入以完善模糊的图像内容，并通过一个内存写入门来选择重要的文本关键信息。实验结果表明，DM-GAN 模型在 Caltech-UCSD 鸟类 200 数据集和 Microsoft COCO 数据集上的性能超越了现有方法。

    Apr, 2019

  • Lafite2: 少样本文本到图像生成

    本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可以灵活应用于各种情境和模型，并在实验中表现出显著的效果，GAN 模型在完全监督的情况下得到了 6.78 的 FID，是 GAN 最新的 SoTA 结果。

    Oct, 2022

  • 检索增强转换器用于图像字幕生成

    本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

    Jul, 2022

  • 语义绘图工程用于文本到图像的生成

    通过生成对抗网络（GAN）或变压器模型进行文本到图像生成。提出了一种方法，利用人工智能模型进行主题创造，并对实际绘画过程进行分类建模。通过将所有视觉元素转化为可量化的数据结构来创建图像，并与现有的图像生成算法进行语义准确性、图像可复现性和计算效率方面的有效性评估。

    Dec, 2023

  • 生成对抗文本到图像的合成

    利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

    May, 2016

  • Emage: 非自回归式文本到图像生成

    非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

    Dec, 2023

  • 半参数视频文本生成

    通过对数据存储库中的视频采用非参数帧检索器进行预处理，将其与查询一起进行聚合，从而有效地表示长时间未修剪的视频的可扩展视频 - 语言建模新视角。在四个视频 - 语言数据集上达到了新的技术水平。

    Jan, 2023

  • 文本自适应生成对抗网络：用自然语言编辑图片

    本文提出一种文本适应的生成对抗网络 (TAGAN)，用以保留不相关的图片内容，并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器，按照输入的文本进行细粒度属性的独立分类，实现只修改特定区域的图像。经实验验证，该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。

    Oct, 2018

  • 具有分层嵌套对抗网络的照片到图像合成

    本文提出了一种新颖的方法来生成基于语义图像描述的摄影图像，并通过采用伴随的分层嵌套对抗目标函数进行中层表示规范化及生成器训练来改善图像质量，以及引入新的视觉语义相似度衡量来评估其生成的图像的语义一致性，最终在三个主流数据集上实验验证表明，该方法在各种评估指标上显著优于先前的最先进技术。

    Feb, 2018