Mar, 2024

考虑 Wasserstein 图匹配的半监督图像描述

PDF
TL;DR我们提出了一种考虑 Wasserstein 图匹配的半监督图像描述方法，该方法通过采用原始图像输入来进行生成的句子的监督学习，利用场景图作为中间信息来约束生成的句子，同时结合交叉模态伪监督和结构不变度量，以更有效地使用未描述的图像并学习更合理的映射函数。
image captioningsemi-supervised learningwasserstein graph matchingscene graphscross-modal learning
发现论文，激发创造
  • 对图像字幕生成所需的语言单词与视觉语义单位进行对齐

    本文提出了一种结合图卷积网络（GCN）的视觉语义单元对象相互作用的图形语义和几何建模方法，利用上下文门控注意力模块将当前单词与视觉语义单元对齐，针对 MS-COCO 图像字幕数据集，与现有方法相比报告了更好的结果。

    Aug, 2019

  • 知识图谱推理的弱监督语义分割

    这篇论文介绍了一种基于图推理的方法来提高弱监督语义分割技术，该方法同时增强了多标签分类和分割网络阶段，并融合了外部知识和图卷积网络来全局推理跨类别依赖关系，以改善生成伪标签的完整性，并应用图推理映射模块加强高级语义的特征表示，动态学习个别样本的语义一致性，取得了在 PASCAL VOC 2012 和 MS-COCO 数据集上的最新性能。

    Sep, 2023

  • 图像字幕半监督框架

    提出了一种新的图像字幕生成方法，该方法能够利用无图像数据的文本数据，并使用区域图像特征生成有意义的二进制向量，从而获得更准确和多样化的字幕。该方法的主要优点是能够生成具有 Salient 图像属性的有意义的二进制向量，并通过软关注机制对其进行解码。

    Nov, 2016

  • 通过场景图对齐进行非配对图片描述

    本研究提出了一种基于场景图的方法来进行非配对图像描述，用于生成不需要图像 - 文字配对的结果，显著超过现有方法的表现。

    Mar, 2019

  • 无监督图像字幕生成

    本研究说明无监督学习是可行的图像字幕生成方式，通过利用具有视觉概念检测器的图像集和句子语料库进行训练，生成的字幕能够与图像的语义内容一致且无需图片字幕标注。

    Nov, 2018

  • 通过大型语言模型进行弱监督下的细粒度场景图生成

    通过利用大型语言模型和链式思维及上下文少样本学习策略，我们提出了一种新方法：用于弱监督场景图生成的大型语言模型，可以从图片标题中提取三元组并与目标数据的实体 / 谓词类对齐，有效地解决语义过度简化和低密度场景图的问题，实验证明该方法在 Recall@K 和平均 Recall@K 上相较于现有的弱监督场景图生成方法具有显著的提升，且能够以少量的训练图片进行有效的模型训练。

    Oct, 2023

  • SITTA: 图像描述任务中的语义图像文本对齐

    为了使生成合适的图片字幕，需要对图像进行文本和语义理解。我们提出了两种新方法来构建线性映射，从而成功地在两个预训练模型的嵌入空间之间转移语义。使用我们的语义映射，我们为 MS-COCO 和 Flickr30k 数据集实现了强大的字幕性能。即使在数据有限的情况下，我们的方法也能在某种程度上超过其他零样本和微调竞争对手的表现。

    Jul, 2023

  • 自上而下视角的基于图像实体的图像字幕生成

    本研究提出了一种一阶段的弱监督图像标题生成方法，通过注入关系模块来鼓励多标签分类中的关系理解，从而提高了关注性能和字幕生成准确性，并在两个具有挑战性的数据集上验证了该方法的有效性。

    Jun, 2023

  • 共享多模态嵌入的无监督图像字幕生成

    通过共享的、结构化的视觉概念潜在空间，将图像特征转化到语义向量嵌入空间中，并使用同一语言模型将其解码为场景描述，无需明确监督来了解图像；这种转化借助于暴露于图像 / 标题数据分布之外的大型文本语料库，并且具有鲁棒性。

    Aug, 2019

  • 半自回归式图像字幕

    该研究提出了一种新的两阶段模型，称为半自回归图像字幕生成模型，使用部分先验信息和图像特征，先以自回归方式生成一个间歇性序列，然后使用迭代的非自回归方式填充所有跳过的单词，可以更好地权衡性能和速度，并在 MS COCO 基准测试上得到更好的表现和竞争性推理加速。

    Oct, 2021