ICCVDec, 2023

RCA-NOC: 相对比对对齐用于新颖物体字幕生成

PDF
TL;DR通过相对对比学习，本研究提出了一种新颖的方法来学习视觉和语义对齐，从而实现新颖物体的描述。针对每个图像，通过利用基于 CLIP 的正负样本的相对性质增加标签，设置适当的对比学习目标，并且将每个增强标签在列表中的排名作为相对相关性标签来对比每个排名靠前的标签和一组排名较低的标签。通过这个学习目标，使得排名靠前的标签与图像和文本上下文的兼容性比排名较低的标签更好，从而提高了学习到的多模态表示的判别能力。在两个数据集上对这种方法进行评估，并且显示了 RCA-NOC 方法在改进新颖物体描述的视觉语言表示方面的显著优势，证明了其有效性。
novel object captioningrelative contrastive learningvisual and semantic alignmentcontrastive learning objectivemulti-modality representation
发现论文，激发创造
  • 使用多样物体标注的图片字幕生成

    本文提出了 Novel Object Captioner (NOC) 模型，利用外部数据源和语义嵌入使模型适用于不在现有图像字幕数据集中出现的数百种物体分类，并表现出对现有罕见分类的能力，自动评估和人类判断均表明，该模型在描述物体方面比之前的工作表现更好。

    Jun, 2016

  • 跨模态主动补充学习与自我完善对应

    提出了一种新的 CRCL 框架，通过 ACL 和 SCC 方法提升现有方法的鲁棒性，具有高度准确性和稳定性，从而解决了图像 - 文本匹配中普遍存在的噪声对齐问题。

    Oct, 2023

  • 图像字幕的对比学习

    本文提出一种基于对比学习的图像字幕生成方法，即在参考模型的基础上，通过两个约束条件，鼓励生成独特的字幕，从而提高字幕的质量和独特性。我们在两个挑战性数据集上测试了该方法，并证明它是通用的并可用于不同结构的模型。

    Oct, 2017

  • 大规模的新物体字幕生成

    研究了如何从其他数据源中学习视觉概念，并创建了一个大规模的基准来评估新图像说明模型可以从中获得这些视觉概念的能力。

    Dec, 2018

  • 通过负样本短语增强实现开放词汇对象检索和定位的判别式学习

    本篇研究旨在解决目标检测模型只能处理预定义类的问题，并提出利用文本查询进行目标检索和定位的方法 (Query-Adaptive R-CNN), 通过负向短语扩充 (NPA) 技术训练分类器以检索和定位视觉样本库中的对象，实验表明该方法能在 0.5 秒内从 100 万张图像中准确完成检索定位。

    Nov, 2017

  • 区域语义对比和聚合用于弱监督语义分割

    探索丰富的语义上下文，通过区域语义对比和聚合技术实现从弱标注数据中学习语义分割，取得了当前最先进的成果。

    Mar, 2022

  • 开放词汇目标检测的学习目标语言对齐

    提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

    Nov, 2022

  • 多样式图像字幕的样式感知对比学习

    本文提出了一种针对多风格图像字幕生成的样式感知对比学习的方法，该方法基于对潜在与风格相关的视觉内容的对比学习，提出了一个样式感知的视觉编码器以及三种检索方案。实验结果表明，该方法的性能达到了最先进水平。

    Jan, 2023

  • 密集对齐字幕（DAC）促进视觉语言模型中的组合推理

    本文探索了影响视觉语言模型组合推理性能的两个因素：对齐图像 - 文本数据集的质量和文本的密度。通过在 CC3M 数据集上 fine-tuning CLIP 模型，我们证明了自动处理这些影响因素的方法可以使模型的组合推理性能显著提高，基于基线模型的表现增加了约 20％，平均提高 6.7％。

    May, 2023

  • 加强上下文在区域词对齐中的作用以进行目标检测

    本研究探索语言上下文对目标检测的影响，并提出了一种增强上下文作用的方法，特别是属性等语境，以提高区域 - 词对齐性能。该方法在区域 - 词预训练方面超越了最先进技术，并通过文本 - 区域检索和短语命名分析展示了属性敏感模型的细粒度实用性。

    Mar, 2023