本文提出了一种新的评估图像字幕的度量 UMIC，其通过对比学习不需要参考字幕。同时，我们发现以前的标准数据集在图像字幕度量方面存在关键问题，并对生成字幕进行了新的人类注释。在包括我们的新数据集在内的四个数据集上验证了 UMIC，证明了 UMIC 的相关性比所有需要多个参考文本度量的先前度量更高。我们发布了基准数据集和预训练模型以计算 UMIC。

Jun, 2021

评估了 CLIPScore 和 UMIC 这两种自动评估图像标题的参考无关度量标准的鲁棒性，发现这两个指标在识别标题中的微小差错方面存在一定困难，同时受视觉概念和语言结构的影响。

May, 2023

自然语言和图片联合训练的 CLIP 模型可用于基于图像的字幕的评估过程中，而无需参考词，CLIPScore 作为一种新的无参考评估指标可以实现与人类判断的最高相关性。

Apr, 2021

我们提出了一种新的度量标准 —— 图像标题具体性，用于在多模态学习中评估无图像参考的标题文本的具体性和相关性，该方法利用强基模型衡量多模态表示中的视觉 - 语义信息损失，我们证明这与人类对单词和句子级文本具体性的评估强相关，同时我们展示出使用图像标题具体性进行筛选可以在资源受限环境中选择最高质量的样本，以进行高效训练。

Mar, 2024

本文通过一系列的实验，深入评估了现有的图像字幕度量，并探索了最近提出的 Word Mover's Distance（WMD）文档度量在图像字幕中的应用。结果表明，WMD 相比其他度量具有较强的优势。

Dec, 2016

提出了一种基于学习的区分性评价指标，通过数据扩增方案显著提高了评价指标对病态构造的鲁棒性，并在 FLickr 8k 和 COCO 数据集上对其他指标表现良好。

Jun, 2018

本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

Nov, 2021

本论文提出了一种名为 TIGEr 的新度量标准，用于自动评估图像标题生成系统，该度量标准不仅基于标题对图像内容的表现，还基于机器生成的标题与人生成的标题匹配程度；经实验测试，TIGEr 与人类判断的一致性要比其他度量标准更高，同时也通过人员评分与度量分数的相关性全面评估了该度量标准的有效性。

Sep, 2019

本文通过实证实验对现代的图像标注系统和评价指标进行了分析，并引入了一种新的独特度度量标准 SPICE-U，该标准通过使用对象探测器以及使用相互信息作为重新排序目标来改善现有的标注模型。

Sep, 2020

本研究提出了一种基于计算话语理论的生成度量，用于评估图像描述生成模型的语义和语用成功，与最近提出的学习指标相比，在人类评分预测方面表现更好。

Sep, 2021