ACLApr, 2020

交叉的字幕：MS-COCO 的扩展内模态和跨模态语义相似性评估

PDF
TL;DR本研究扩展了 MS-COCO 数据集，提出了 Crisscrossed Captions (CxC)，用于评估跨模态训练和评估，可用于研究跨模态学习对内模态任务的影响，并对现有内模态和多模态模型进行了基准测试。
multi-modal retrievalrepresentation learningcrisscrossed captionsinter-modality learningmultimodal models
发现论文，激发创造
  • 基于跨模态相似性的课程学习在图像描述中的应用

    该研究提出一种基于跨模态相似性的难度度量方法，用于图像字幕生成模型的训练，并在 COCO 和 Flickr30k 数据集上验证了其有效性，证明其在难样本和未见数据上表现出较高的泛化能力。

    Dec, 2022

  • 跨媒体 - 3600：一款大规模多语言多模态评估数据集

    本文提出了 Crossmodal-3600 数据集，其中包含 3600 张图片，涵盖了 36 种语言中所使用的地区，并使用人工参考标题对其进行了注释。该数据集被应用于大规模多语言图片字幕模型的选择，并在使用 XM3600 作为自动度量的黄金参考时，展示出与人工评估更高的相关性结果。

    May, 2022

  • 跨模态统一建模技术用于字幕生成

    该论文利用与计算模型相关的连贯性关系研究了图像字幕生成的信息需求和目标，通过特定的协议，获取 10,000 个图像与字幕的连贯性关系，将其用于学习推理的新任务，得到的结果显示，通过连贯性关系提高了生成的字幕的一致性和质量。

    May, 2020

  • ICC：用于多模态数据集策划的图像标题具体化量化

    我们提出了一种新的度量标准 —— 图像标题具体性，用于在多模态学习中评估无图像参考的标题文本的具体性和相关性，该方法利用强基模型衡量多模态表示中的视觉 - 语义信息损失，我们证明这与人类对单词和句子级文本具体性的评估强相关，同时我们展示出使用图像标题具体性进行筛选可以在资源受限环境中选择最高质量的样本，以进行高效训练。

    Mar, 2024

  • 通过合成对的方法改善文本式图像描述的跨模态对齐

    本研究提出了一种新方法，通过结合合成的图像文本对来解决图像标注中存在的跨模态对齐问题。通过使用预训练的文本到图像模型生成图像，并优化合成图像在 CLIP 嵌入空间中的伪特征以接近真实图像特征，同时利用图像中的显著对象来增强模态对齐的学习。实验证明，该方法在基准数据集上取得了最先进的性能。

    Dec, 2023

  • 更好地利用图片描述提升图像字幕质量

    本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

    Jun, 2020

  • CAMP: 文本 - 图像检索的跨模态自适应消息传递

    本文提出了一种跨模态自适应信息传递模型（Cross-modal Adaptive Message Passing, CAMP），通过自适应地控制跨模态信息的流动，全面且精细地考虑跨模态交互，使用硬负样本二元交叉熵损失函数进行训练，在 COCO 和 Flickr30k 上显著超过最先进方法，显示出了我们方法的有效性。

    Sep, 2019

  • 从字幕到视觉概念的转换和回归

    本文提出了一种用于自动生成图像描述的新方法：使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。

    Nov, 2014

  • 探索语义关系的非配对图像字幕生成

    本文提出了一种跨越视觉和语言领域的高级语义信息桥接技术，以实现无配对图像说明，并引入了基于语义概念关系探索的解决方案 ——Semantic Relationship Explorer，能够有效地提高图像说明的质量，并且在 MSCOCO 数据集下总体得分比配对数据集高出 8%。

    Jun, 2021

  • UNISON: 无配对跨语言图像字幕

    本文提出了一种新颖的基于跨语言无配对数据的图像描述生成方法，通过跨语言的自动编码和跨媒体非监督特征映射实现从图像模态到语言模态的生成， 并在汉语图像描述生成任务上展示了其有效性。

    Oct, 2020