本文探讨使用语境化词向量来计算更为准确的相关性评分，从而得出更好的评估指标，相较于仅训练静态嵌入的 RUBER 指标，新的指标表现更佳。

Apr, 2019

提出了基于 Wasserstein 距离和 barycenter 的新框架和指标 BaryScore 来衡量基于深度情境化嵌入（例如 BERT、Roberta、ELMo）的文本生成质量，通过建模深度情境化嵌入的层输出为概率分布或向量嵌入等多种形式，这一框架提供了一种自然的聚合不同输出的方法，并对度量提供了理论依据，针对机器翻译、数据到文本生成和图像字幕等领域进行了数值测评，结果表明 BaryScore 指标在特别是文本摘要方面优于其他基于 BERT 的指标并且表现更为一致。

Aug, 2021

BERTScore 是一种针对文本生成的自动评估指标，利用上下文嵌入计算 token 的相似性，能够更好地与人类判断相关，并提供比现有度量更强的模型选择性能。

Apr, 2019

本文通过一系列的实验，深入评估了现有的图像字幕度量，并探索了最近提出的 Word Mover's Distance（WMD）文档度量在图像字幕中的应用。结果表明，WMD 相比其他度量具有较强的优势。

Dec, 2016

本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

Mar, 2022

人们对从自然语言描述中生成基于骨架的人类动作越来越感兴趣。本文系统地研究了哪些度量标准与人类评价最为相关，并提出了新的度量标准，这些度量标准与人类判断之间的相关性更好。通过对样本水平的人类评价，发现目前用于此任务的度量标准中没有一个与人类判断呈现中度甚至更高的相关性。然而，用于评估模型平均性能的常用度量标准（例如 R-Precision）和较少使用的坐标误差表现出了较强的相关性。此外，与其他替代方法相比，不推荐使用一些最近开发的度量标准，因为它们与人类判断的相关性较低。我们还引入了一种基于多模态 BERT 模型 MoBERT 的新度量标准，该度量标准在样本级别上与人类判断高度相关，并且在模型级别上具有近乎完美的相关性。我们的结果表明，这种新度量标准比当前所有替代方案都有广泛的优势。

Sep, 2023

本文探讨了自然语言生成的有效评估指标，以及通过使用轻量级版本的 Transformer 和线性、二次逼近算法来实现评估指标的高效计算，研究发现，TinyBERT 在语义相似性评估指标方面表现最佳，并且在平均推理时间上比原算法要快 5 倍，但 WMD 近似计算并没有带来效率提升，反而在部分机器翻译数据集上使得质量下降。

Sep, 2022

该研究提出了一个结合监督学习和无监督信号的框架，使用 T5Score 作为度量标准，对生成文本进行评估，并通过实验数据表明 T5Score 在各个数据集上均取得了最佳表现。

Dec, 2022

提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

Jun, 2022

本文提出了一种在 Yelp 情感数据集上实验性确定最佳实践的方法，解决了文本风格转移领域目前缺乏标准评估实践的问题；我们提出了自动化评估的一组度量标准，并展示了它们与人类判断的强关联性和一致性，并证明了三种检验模型在所关注的方面存在权衡，在特定的权衡图上评估风格转移模型的重要性。

Apr, 2019