EMNLPSep, 2019

基于敌对半监督学习的极度稀缺监督数据图像描述方法

PDF
TL;DR本文提出了一种新颖的数据有效的半监督学习框架，该框架利用大规模的未配对图像和标题数据来学习它们之间的联系，并通过生成对抗网络将伪标签分配给未配对样本，来训练图像字幕模型。实验结果表明，该方法相对于几个强基线的效果明显，尤其是在配对样本数量很少的情况下。此外，我们构建了少配对的 COCO 数据集，证明了我们方法的有效性。
发现论文，激发创造
  • 通过对带标签数据进行对抗传输进行半监督图像字幕生成

    提出了一种半监督学习方法，使用对抗式学习来为未配对的样本分配伪标签，提升图像字幕模型的泛化性能，并展示了该方法在不同场景下都有较为明显的性能提升，包括关系字幕和网络爬虫数据。

    Jan, 2023

  • 图像字幕半监督框架

    提出了一种新的图像字幕生成方法，该方法能够利用无图像数据的文本数据，并使用区域图像特征生成有意义的二进制向量，从而获得更准确和多样化的字幕。该方法的主要优点是能够生成具有 Salient 图像属性的有意义的二进制向量，并通过软关注机制对其进行解码。

    Nov, 2016

  • 无监督图像字幕生成

    本研究说明无监督学习是可行的图像字幕生成方式，通过利用具有视觉概念检测器的图像集和句子语料库进行训练，生成的字幕能够与图像的语义内容一致且无需图片字幕标注。

    Nov, 2018

  • 面向对象的无监督图像描述

    本文旨在探索无监督图像标注任务，使用已有的图像和文本之间的重叠关系构建用于训练变形金刚模型的数据集以及研究对象信息和属性之间的关系，以此提高无监督方法的性能表现。

    Dec, 2021

  • 一种半匹配的标签到图像翻译方法

    本文提出了第一个半监督（半配对）的框架，用于标签到图像的翻译，使用输入重构任务并利用条件鉴别器来作为反向生成器，证明了所提出模型在标准基准测试中优于现有的无监督和半监督方法，同时使用更少的配对样本。

    Jun, 2023

  • 探索语义关系的非配对图像字幕生成

    本文提出了一种跨越视觉和语言领域的高级语义信息桥接技术，以实现无配对图像说明，并引入了基于语义概念关系探索的解决方案 ——Semantic Relationship Explorer，能够有效地提高图像说明的质量，并且在 MSCOCO 数据集下总体得分比配对数据集高出 8%。

    Jun, 2021

  • 使用生成对抗网络进行半监督和弱监督语义分割

    本文利用大量未标注或弱标注的数据和生成式对抗网络作为背景，提出了一种半监督框架实现语义分割，其中利用推理出的大量虚假图片来强化真实数据的特征聚类；同时，通过提供分类级别信息，提高 GAN 生成图像的质量，进而改善了像素分类，该方法经过在几个挑战性的基准视觉数据集上测试，表现与当前的最先进语义分割方法相当。

    Mar, 2017

  • 部分监督图像字幕生成

    通过有标签的图片和物体检测数据教授图像字幕模型学习新的视觉概念，通过有限状态自动机表示部分指定的序列数据并提出了一种新颖的算法，可以训练神经网络。在图像字幕任务中，我们取得了基于 COCO 数据集的最新物体字幕任务的最先进结果，并进一步表明，我们可以训练一个字幕模型来描述来自 Open Images 数据集的新的视觉概念，同时保持竞争性的 COCO 评估得分。

    Jun, 2018

  • 通过对抗式学习生成多样且准确的视觉描述

    提出一种基于条件生成对抗网络的比较式对抗学习框架，能够在图像描述任务中生成不仅准确而且多样化的描述语句。

    Apr, 2018

  • 利用标题中的信息进行弱监督语义分割

    通过多模态网络，该工作借助互联网上的图像标注来进行弱监督学习，实现语境上下文对图像中出现的类别的提取与分割，并在 COCO 数据集上取得了 SOTA 的结果。

    May, 2019