ACLJun, 2024

FLEUR：基于大型多模态模型的图像字幕解释性无参考评估度量

PDF
TL;DR借助大型多模型，本文提出了一种解释性的无参考度量方法 FLEUR，用以评估图像说明。FLEUR 不需参考说明即能对图像说明进行评估，并提供评分的解释。通过引入评分平滑化以尽可能与人类判断接近，并对用户定义的等级标准具有鲁棒性，FLEUR 在各种图像说明评估基准上与人类判断之间达到了高度相关性，并在 Flickr8k-CF、COMPOSITE 和 Pascal-50S 上取得了最先进的结果，成为了无参考评估度量领域的最新成果。
image captioning evaluation metricsexplainable reference-free metricfleurscore smoothingreference-free evaluation metrics
发现论文，激发创造
  • FLEURS: 语音通用表示的少样本学习评估

    介绍 FLEURS，这是一个 Few-shot Learning Evaluation of Universal Representations of Speech 基准，包含 102 种语言的 n 方并行语音数据集，可用于自动语音识别 (ASR)，语音语言识别 (Speech LangID)，翻译和检索等语音任务，并基于多语言预训练模型提供基线，旨在推动语音技术在多种语言中的应用。

    May, 2022

  • 学习评估图像字幕生成

    提出了一种基于学习的区分性评价指标，通过数据扩增方案显著提高了评价指标对病态构造的鲁棒性，并在 FLickr 8k 和 COCO 数据集上对其他指标表现良好。

    Jun, 2018

  • 无参考图像字幕评估指标的鲁棒性研究

    评估了 CLIPScore 和 UMIC 这两种自动评估图像标题的参考无关度量标准的鲁棒性，发现这两个指标在识别标题中的微小差错方面存在一定困难，同时受视觉概念和语言结构的影响。

    May, 2023

  • 无参考图像字幕评估指标中的眼镜蛇效应

    评估文本描述与相应图像之间的兼容性是多模态研究中的核心工作之一。本文研究了无参考指标的不足之处，并提出了一种名为 “自我完善” 的新方法来纠正这些指标的不足，并通过 GPT-4V 评估生成的句子以获得最先进的性能。此外，我们还介绍了一个具有挑战性的评估基准来全面评估无参考图像描述度量标准。

    Feb, 2024

  • CLIPScore：一种基于参照无关的图像字幕评估指标

    自然语言和图片联合训练的 CLIP 模型可用于基于图像的字幕的评估过程中，而无需参考词，CLIPScore 作为一种新的无参考评估指标可以实现与人类判断的最高相关性。

    Apr, 2021

  • 图像字幕的透明人工评估

    本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

    Nov, 2021

  • Polos: 从人类反馈中进行多模态度量学习用于图像字幕生成

    提出了一种基于人类反馈训练的 Polos 的自动评估度量标准用于图像字幕模型，该度量标准从多模态输入中计算得分，利用通过大规模对比学习训练的嵌入进行平行特征提取机制。通过在 Polis 数据集上取得的最新成果，证明了该方法具有效果和鲁棒性。

    Feb, 2024

  • BLEURT: 学习文本生成的鲁棒度量

    提出了一种基于 BERT 的学习评估指标 BLEURT，可以通过数千个训练实例建模人类判断，并使用数百万个合成实例的新型预训练方案来帮助模型泛化，提供在 WMT Metrics 共享任务和 WebNLG 大赛数据集上的最佳结果。

    Apr, 2020

  • 面向自然语言生成的可解释评估度量

    本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

    Mar, 2022

  • 关于图像标注中的多样性：如何像人类一样描述

    本文提出了一种新的度量图像标题多样性的指标，并使用隐含语义分析进行核函数转换以利用 CIDEr 相似度进行度量，结果发现最近的标题模型在准确度和多样性方面与人类表现仍存在较大差距，并且优化准确度（CIDEr）的模型的多样性很低，同时表明在强化学习的交叉熵损失和 CIDEr 奖励之间进行平衡可以有效地控制生成的标题的多样性和准确性的平衡。

    Mar, 2019