ACLJun, 2021

UMIC：基于对比学习的图像描述无参考评价指标

PDF
TL;DR本文提出了一种新的评估图像字幕的度量 UMIC，其通过对比学习不需要参考字幕。同时，我们发现以前的标准数据集在图像字幕度量方面存在关键问题，并对生成字幕进行了新的人类注释。在包括我们的新数据集在内的四个数据集上验证了 UMIC，证明了 UMIC 的相关性比所有需要多个参考文本度量的先前度量更高。我们发布了基准数据集和预训练模型以计算 UMIC。
发现论文，激发创造
  • 无参考图像字幕评估指标的鲁棒性研究

    评估了 CLIPScore 和 UMIC 这两种自动评估图像标题的参考无关度量标准的鲁棒性，发现这两个指标在识别标题中的微小差错方面存在一定困难，同时受视觉概念和语言结构的影响。

    May, 2023

  • InfoMetIC：一种用于无参考图像描述评估的信息度量

    该研究提出了一种新的图像字幕评价指标 InfoMetIC，可以对图像字幕的正确性和覆盖性进行精细和粗略级别的评估，表现出比现有指标更好的人工判断相关性，同时还构建了一个基于令牌的评估数据集。

    May, 2023

  • 基于图像级弱监督视觉概念识别的非配对图像字幕生成

    通过利用图像级别标签进行弱监督学习，提出解决成本昂贵的标注问题的无配对图像字幕生成模型，在视觉概念识别和图神经网络方面都取得了较好的表现。

    Mar, 2022

  • 重新评估图像字幕自动评估指标

    本文通过一系列的实验，深入评估了现有的图像字幕度量，并探索了最近提出的 Word Mover's Distance（WMD）文档度量在图像字幕中的应用。结果表明，WMD 相比其他度量具有较强的优势。

    Dec, 2016

  • 走向对图片的独特和信息丰富的字幕

    本文通过实证实验对现代的图像标注系统和评价指标进行了分析，并引入了一种新的独特度度量标准 SPICE-U，该标准通过使用对象探测器以及使用相互信息作为重新排序目标来改善现有的标注模型。

    Sep, 2020

  • 学习评估图像字幕生成

    提出了一种基于学习的区分性评价指标，通过数据扩增方案显著提高了评价指标对病态构造的鲁棒性，并在 FLickr 8k 和 COCO 数据集上对其他指标表现良好。

    Jun, 2018

  • MeaCap: 存储增强的零样本图像描述

    提出了一种新颖的记忆增强型零样本图像字幕生成框架（MeaCap），通过装备文本记忆并引入检索 - 过滤模块，使用基于记忆的视觉相关融合评分及关键词 - 句子语言模型，生成与图像高度一致、拥有更少幻觉和更多世界知识的以概念为中心的字幕；该框架在一系列零样本图像字幕设置中取得了最先进的性能。

    Mar, 2024

  • COSMic: 一个针对图像描述的一致性感知生成度量

    本研究提出了一种基于计算话语理论的生成度量，用于评估图像描述生成模型的语义和语用成功，与最近提出的学习指标相比，在人类评分预测方面表现更好。

    Sep, 2021

  • UIT-OpenViIC：越南图像描述评估的新基准

    本文介绍了一项新的越南 Open-domain 图像字幕数据集 (UIT-OpenViIC)，用于为低资金研究社区做出贡献。从初步分析中，我们展示了我们的数据集对于最近的 MS COCO 视觉（Vision）转写器基线具有挑战性，这证明 UIT-OpenViIC 有相当大的增长空间，可以成为越南研究社区评估其字幕模型的标准基准之一。另外我们提出了一种 CAMO 方法，通过多级编码器输出融合机制有效地提高了图像表示能力，与以前的字幕模型相比，提高了生成的字幕的质量。

    May, 2023

  • 图像字幕的透明人工评估

    本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

    Nov, 2021