ACLMay, 2018

解密含杂质图像字幕

PDF
TL;DR本文利用基于显式目标信息的简单的可解释且强大的表示方法解决了探测篡改图片标题的任务，并在标准数据集上取得了优于人类的成绩；同时分析揭示了简单模型即使没有图像信息也能取得良好的表现，表明数据集具有强烈的语言倾向。
foiled image captionssemantic replacementobject informationperformancelinguistic bias
发现论文，激发创造
  • FOIL it! 寻找图像和语言描述间的一个不匹配

    本文通过提出 FOIL-COCO 数据集并进行实验，证明现有的语言与视觉模型在理解两种模态之间的互动方面存在缺陷，并需要使用更加细致的文本与图像关联方法进行改进。

    May, 2017

  • 从字幕到视觉概念的转换和回归

    本文提出了一种用于自动生成图像描述的新方法：使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。

    Nov, 2014

  • 更好地利用图片描述提升图像字幕质量

    本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

    Jun, 2020

  • 利用大型语言模型将视觉数据融合到丰富的图像标题中的 FuseCap

    本文提出了一种用于创建图像标题的方法，通过采用额外的视觉信息，包括对象检测器、识别器等来丰富标题，经大型语言模型融合，生成全面的图像描述。实验证明，该方法有效，所提供的数据集显着提高了图像 - 文本检索。

    May, 2023

  • 现实世界图像描述和场景识别的全面分析

    图像字幕生成是一项计算机视觉任务，涉及为图像生成自然语言描述，本文评估了基于不同编码机制、语言解码器和训练过程构建的多种模型在真实世界图像字幕生成方面的性能。

    Aug, 2023

  • 用于训练描述性字幕的区分性目标

    本文提出了一种改进图像标题生成方法的方法，通过在训练过程中加入与机器学习相关的损失函数来加强图像标题的区分度，从而提高生成标题的质量。

    Mar, 2018

  • 无监督图像字幕生成中，消除图像与伪字幕之间的单词级误对齐

    本文主要探讨了通过提出一个简单的门控机制来从伪字幕中选择可靠的单词以提高图像字幕生成任务的准确性，并证明了在单词级别详细对齐方面的慎重对齐的重要性。

    Apr, 2021

  • 一图胜千言：原则性重描述提升图像生成

    通过重新标注语料库并以此为基础训练文本到图像模型，可以显著提高模型的图像质量和语义对齐，并减少训练与推理之间的差异，增加样例效率，使模型更好地理解标题和图像之间的关系。

    Oct, 2023

  • 图像字幕

    这篇论文讨论了我们在图像字幕生成实验中的结果，并展示了我们的模型准确性以及从图像描述中学习的语言的流畅性，在几个标记数据集上进行了实验。我们将图像字幕应用于创建视频字幕，并提出了一些挑战性的假设。

    May, 2018

  • 图像字幕中检测识别外部分布的基线算法

    本文探讨了图像标注中的 OOD 检测问题，并提出了评估模型性能的方法。此外，研究分析并展示了使用标题可能性得分来检测和拒绝 OOD 图像的有效性。

    Jul, 2022