Feb, 2018

ChatPainter：利用对话改进文本到图像生成

PDF
TL;DR本文研究使用对话来提高基于文本描述合成逼真图像的模型在 Microsoft COCO 数据集上的生成效果和 Inception Score（评估图像质量的指标）。
image synthesistext-to-imagedialogueinception scorems coco dataset
发现论文，激发创造
  • 基于注意力机制的通过文字生成图片

    提出一种基于自然语言描述生成图像的生成模型，采用微软 COCO 数据集进行训练，通过比较实验结果，证明该模型的生成图像质量更高且可以生成新颖的场景构图。

    Nov, 2015

  • 提高人脸生成质量及配套使用合成字幕

    通过引入一种无需训练的流程，从人脸图像生成真实的外貌描述，进而改进了文本到图像扩散模型的能力，并提高了其遵循给定提示的能力。

    May, 2024

  • 2015 MSCOCO 图像标注挑战赛的经验教训

    本篇论文介绍一种基于深度递归结构的生成模型，其结合了近期在计算机视觉和机器翻译方面的进展，能够用于生成描述图像的自然语言句子，并经过多种数据集的实验，验证了模型的准确性和语言的流畅性。更重要的是，该模型是通过对图像描述的学习而得，在最近的 COCO 数据集比赛中获得了与 Microsoft Research 团队平分秋色的好成绩，并提供了一个基于 TensorFlow 开源的实现。

    Sep, 2016

  • 采用对比学习改进文本生成图像技术

    本篇论文提出一种基于对比学习方法的文本到图像合成框架，旨在提升合成图像的质量和语义一致性，通过对 pretraining 和 GAN training 阶段进行改进，该方法在两个流行数据集上的实验结果表明，相对于 AttnGAN 和 DM-GAN，能够显著提高合成图像的质量。

    Jul, 2021

  • 教授文本到图像模型进行交流

    通过语料上进行的实验结果证明，我们的方法有效且实用，能够生成与指定对话一致的逼真图像，并在多个度量指标上持续提高各种模型的性能。

    Sep, 2023

  • 基于短语的图像字幕

    本文提出了一个简单的模型，可以根据给定的图片生成相关的句子，它主要侧重于句子的语法，并基于先前训练的卷积神经网络对图像进行编码。该模型使用纯双线性模型训练一个度量来衡量图像表示和用于描述图像的短语之间的关系，并能够基于推断的短语产生给定测试图像的相关描述。这一方法在 Flickr30k 和 Microsoft COCO 等数据集中实现了可比较的结果，同时相对于最先进的模型而言，该方法更加简单。

    Feb, 2015

  • Concadia: 朝着有目的的基于图像的文本生成

    该研究旨在通过引入 Concadia 数据集，研究图像描叙和标题的不同传达作用，并证明使用图片出现的文本背景来增强图像到文本模型的效果，从而提高实际应用过程中生成文本的有用性。

    Apr, 2021

  • C4Synth：跨说明文循环一致的文本到图像合成

    该论文提出了一种基于深度生成模型的多个描述生成图片的方法，并通过对 CUB 和 Oxford-102 Flowers 数据集的实验结果证实了该方法的有效性。

    Sep, 2018

  • 超越生成：利用文本至图像模型进行对象检测和分割

    通过使用文本到图像合成框架（如 DALL-E、稳定扩散等），我们提出了一种新的范式，以自动产生具有准确标签的训练数据。该方法将训练数据生成分解为前景物体生成和上下文一致的背景生成部分，并演示了在五个物体检测和分割数据集上使用我们方法生成的合成数据用于训练可以产生与使用真实数据训练的模型性能相媲美甚至更好的目标检测器。

    Sep, 2023

  • 展示并告诉：神经图像字幕生成器

    本文提出了基于深度递归架构的生成模型，结合计算机视觉和机器翻译的最新进展，将图像描述为自然语言的句子，实验结果表明了模型的准确性和流畅性。

    Nov, 2014