Sep, 2018

C4Synth：跨说明文循环一致的文本到图像合成

PDF
TL;DR该论文提出了一种基于深度生成模型的多个描述生成图片的方法，并通过对 CUB 和 Oxford-102 Flowers 数据集的实验结果证实了该方法的有效性。
image generationdeep generative modelmulti-captioncycle consistencycomputer vision
发现论文，激发创造
  • 通过内容多样性探索实现准确的基于文本的图像描述

    本文提出了一种基于锚文本和锚中心图的多视角多解释图像说明生成方法，以提高生成说明的多样性和准确性。

    Apr, 2021

  • 采用对比学习改进文本生成图像技术

    本篇论文提出一种基于对比学习方法的文本到图像合成框架，旨在提升合成图像的质量和语义一致性，通过对 pretraining 和 GAN training 阶段进行改进，该方法在两个流行数据集上的实验结果表明，相对于 AttnGAN 和 DM-GAN，能够显著提高合成图像的质量。

    Jul, 2021

  • 循环一致性反向生成对抗网络用于文本到图像合成

    本文提出了一种新颖的循环一致性逆向生成对抗网络 (CI-GAN) 框架，用于文本到图像生成和文本引导下的图像操作任务，在该框架中，我们采用循环一致性训练来学习更加稳健一致的潜变量，并通过学习文本表示与潜变量之间的相似度模型，在文本引导的优化模块中生成具有所需语义属性的图像，实验证明该框架具有良好的性能。

    Aug, 2021

  • 循环一致性学习用于字幕生成和定位

    我们提出了一个名为 CyCo 的循环一致学习框架，用于连接视觉定位和图像描述，实现二者的协同训练；这个框架不仅允许半弱监督训练视觉定位，而且改善了全监督视觉定位的性能，并且生成了一个通用的图像描述模型，能够描述任意的图像区域。大量实验证明，我们的全监督视觉定位模型达到了最先进的性能水平，半弱监督模型相较于全监督模型也表现出竞争力。我们的图像描述模型能够自由地描述图像区域，并在常见的图像描述评估中表现出了令人印象深刻的性能。

    Dec, 2023

  • Concadia: 朝着有目的的基于图像的文本生成

    该研究旨在通过引入 Concadia 数据集，研究图像描叙和标题的不同传达作用，并证明使用图片出现的文本背景来增强图像到文本模型的效果，从而提高实际应用过程中生成文本的有用性。

    Apr, 2021

  • 通过图像描述的方式改进多模态数据集

    通过探索不同的混合策略，我们发现合成字幕能够增加网络爬取数据点的效用，并且在 38 个任务中，对于 ImageNet 表现比 DataComp 基准提高 2%， 平均值提高 4%。此外，我们发现使用合成字幕进行多模态训练时，标准图像字幕基准的性能并不可靠，还对 1.28B 图像 - 文本对的大规模分析提供了对合成文本的局限性和随着训练数据数量增加图像筛选的重要性的见解。

    Jul, 2023

  • 纯文本合成图像描述

    提出了 ToCa 方法，通过将标题文本分解为结构和词汇单词，利用大型语言模型生成包含各种词汇模式的大量标题，从而实现对图像标题生成的非人力和计算成本的进一步放宽。

    May, 2024

  • 一幅画胜千言：用于生成多样化字幕和富有表现力图像的统一系统

    该研究采用创意图像和文本生成 AI 系统，通过多模态框架实现了多样化的标题和图像创建，同时采用 Transformer 网络模型支持多种标题参考，采用非自回归解码策略实现实时推断。

    Oct, 2021

  • 通过合成对的方法改善文本式图像描述的跨模态对齐

    本研究提出了一种新方法，通过结合合成的图像文本对来解决图像标注中存在的跨模态对齐问题。通过使用预训练的文本到图像模型生成图像，并优化合成图像在 CLIP 嵌入空间中的伪特征以接近真实图像特征，同时利用图像中的显著对象来增强模态对齐的学习。实验证明，该方法在基准数据集上取得了最先进的性能。

    Dec, 2023

  • 一图胜千言：原则性重描述提升图像生成

    通过重新标注语料库并以此为基础训练文本到图像模型，可以显著提高模型的图像质量和语义对齐，并减少训练与推理之间的差异，增加样例效率，使模型更好地理解标题和图像之间的关系。

    Oct, 2023