通过自然语言指示引导的训练度量 TIGERScore 对广泛的文本生成任务进行解释性和无参考评估，该度量基于经过精心策划的指示调优数据集 MetricInstruct 进行 LLaMA 训练，覆盖 6 个文本生成任务和 23 个文本生成数据集，通过与人类评分的相关性评估和定性评估结果表明，TIGERScore 在这些数据集上能够取得最高的斯皮尔曼相关性，显著优于其他度量标准，并且作为无参考度量标准，其相关性甚至可以超过最佳的基于参考的度量标准，通过这些实验结果，我们相信 TIGERScore 展示了建立通用的可解释性度量标准来评估任何文本生成任务的可能性。

Oct, 2023

提出了一种基于学习的区分性评价指标，通过数据扩增方案显著提高了评价指标对病态构造的鲁棒性，并在 FLickr 8k 和 COCO 数据集上对其他指标表现良好。

Jun, 2018

本文介绍了一种基于机器和人生成的 MSCOCO 数据集上的图像标注模型的评估协议 THumB，用于评估图像文本的质量。我们的实验发现，使用图像特征的近期度量值 CLIPScore 更符合人类评判标准。

Nov, 2021

本文提出了一种新的度量图像标题多样性的指标，并使用隐含语义分析进行核函数转换以利用 CIDEr 相似度进行度量，结果发现最近的标题模型在准确度和多样性方面与人类表现仍存在较大差距，并且优化准确度（CIDEr）的模型的多样性很低，同时表明在强化学习的交叉熵损失和 CIDEr 奖励之间进行平衡可以有效地控制生成的标题的多样性和准确性的平衡。

Mar, 2019

该研究提出了一种新的图像字幕评价指标 InfoMetIC，可以对图像字幕的正确性和覆盖性进行精细和粗略级别的评估，表现出比现有指标更好的人工判断相关性，同时还构建了一个基于令牌的评估数据集。

May, 2023

本文通过一系列的实验，深入评估了现有的图像字幕度量，并探索了最近提出的 Word Mover's Distance（WMD）文档度量在图像字幕中的应用。结果表明，WMD 相比其他度量具有较强的优势。

Dec, 2016

本文提出一种基于 CLIP-score、人类判断和包含 10 个类别的高质量图片文本数据集的新型评估方法，用于评估和比较最新的文本到图片模型。实验结果表明，人类判断的准确性与 CLIP-score 完全一致。数据集已经向公众开放。

Dec, 2022

我们提出了一个基于文本和图像编码器的回归（TIER）框架，用于评估从人类感知角度来看的人工智能生成图像的质量，实验证明我们的方法在大多数情况下相较于基准表现出更优异的性能。

Jan, 2024

本文提出了两种关联度度量指标，并提出一种新的策略用于定义语义自适应边缘，并将其用于标准三元组损失函数的优化中，从而在有限的训练数据情况下得到了很大的改进。

Oct, 2021

评估了 CLIPScore 和 UMIC 这两种自动评估图像标题的参考无关度量标准的鲁棒性，发现这两个指标在识别标题中的微小差错方面存在一定困难，同时受视觉概念和语言结构的影响。

May, 2023