Oct, 2023

利用无配对数据进行视觉 - 语言生成模型的循环一致性优化

PDF
TL;DR本文介绍了 ITIT（InTegrating Image Text）模型，采用循环一致性原则，通过在未配对的图像和文本数据上进行双向图像到文本和文本到图像的生成，实现视觉语言训练，并证明其在与高质量配对数据相比的图像生成和字幕性能上表现类似。
vision-language generative modelsimage-text dataititcycle consistencyunpaired datasets
发现论文，激发创造
  • CiT：有效视觉语言数据训练的筛选

    本文提出了一种名为 CiT 的有效视觉 - 文本学习算法，通过在训练中将数据目标整合进去，自动产生高质量数据集和提高对比度图像 - 文本训练的速度，从而实现了数据筛选管道的免除和训练速度的提高。

    Jan, 2023

  • VEGA：学习视觉语言大模型中交错的图像文本理解

    通过引入新的任务 Interleaved Image-Text Comprehension (IITC) 及其相关的 VEGA 数据集和 Image-Text Association（ITA）子任务，我们在多模态大模型（MLLMs）上建立了一个坚实的基线，实现了 85.8％的图像关联准确率和 0.508 的 Rouge 分数，结果验证了我们的数据集在提高 MLLMs 对复杂图文理解能力方面的有效性。

    Jun, 2024

  • 图像文本化：一种自动创建准确详细图像描述的框架

    通过结合现有的多模态大语言模型（MLLMs）与多个视觉专家模型，我们提出了一种名为图像文本化（IT）的创新框架，以最大程度地将视觉信息转化为文本，自动生成高质量的图像描述。我们还提出了几个综合评估基准来验证我们框架所创建的图像描述的质量，显示经过 IT 精选描述训练的 LLaVA-7B 模型在生成更丰富的图像描述方面的能力得到了提高。

    Jun, 2024

  • 循环训练实现低资源数据文本生成

    本文提出了一种基于无监督学习的方法 —— 循环训练，用于改善从结构化数据向自然语言文本的转化问题，在四个数据集中，这种方法表现得像完全监督方法一样出色，通过自动评价和人工评估表明，循环训练策略的不同对于降低文本生成错误类型的有效性也不同。

    May, 2023

  • 语义分割的极弱监督图像翻译

    本文旨在将有监督和无监督的图像翻译方法相结合，在像素到像素图像翻译领域取得了重大突破，提出了一种选择非常少的配对训练样本的方法，并在训练过程中同时使用这些配对样本和未配对样本，从而比 Random Selection 获得了更好的性能。

    Sep, 2019

  • 基于聚类的生成不完整图像文本聚类 (CIGIT-C)

    本研究针对多模态数据，使用一种基于生成网络的不完整图文聚类方法，旨在解决实际情景中数据不完整的问题，并在公开数据集上验证了其性能优于已有方法。

    Sep, 2022

  • UNISON: 无配对跨语言图像字幕

    本文提出了一种新颖的基于跨语言无配对数据的图像描述生成方法，通过跨语言的自动编码和跨媒体非监督特征映射实现从图像模态到语言模态的生成， 并在汉语图像描述生成任务上展示了其有效性。

    Oct, 2020

  • 面向对象的无监督图像描述

    本文旨在探索无监督图像标注任务，使用已有的图像和文本之间的重叠关系构建用于训练变形金刚模型的数据集以及研究对象信息和属性之间的关系，以此提高无监督方法的性能表现。

    Dec, 2021

  • UNITER: 通用图像文本表示学习

    本研究引入了 UNITER，一种通过对四个图像 - 文本数据集（COCO，Visual Genome，Conceptual Captions 和 SBU Captions）进行大规模预训练学习的 UNiversal image-text representation，其可为异构下游 V + L 任务提供联合多模态嵌入。

    Sep, 2019

  • C4Synth：跨说明文循环一致的文本到图像合成

    该论文提出了一种基于深度生成模型的多个描述生成图片的方法，并通过对 CUB 和 Oxford-102 Flowers 数据集的实验结果证实了该方法的有效性。

    Sep, 2018