提出了一种新的参考无需评估指标 QAScore，通过计算语言模型能否正确生成答案中掩码单词的概率来评估问题，发现它比传统的基于单词重叠的 BLEU，ROUGE 和预训练模型基于 BERTScore 等指标更能与人类判断相关。

Oct, 2022

本文提出了一种新的基于可回答性而非语言 / 语义相似性的问题评估度量标准 ——RQUGE，并使用合成数据进行微调以进一步提高 QA 模型的性能。

Nov, 2022

该研究在使用 BLEU 和 BERTScore 等基于参考文献的指标评估问题生成（QG）时发现，使用人工编写的参考文献不能保证参考文献指标的有效性。作者提出了一种基于自由参考文献的多维度标准的度量方法，通过利用大型语言模型来评估问题的自然性、可回答性和复杂性，该度量方法不受单个参考问题的句法或语义限制，也不需要多样化的参考文献集合。实验证明，该度量方法能够准确区分高质量问题和有缺陷的问题，并与人类判断达到最先进的一致性。

Mar, 2024

提出使用 GPT-3 等大型语言模型来进行问题生成并采用多个（伪）参考答案进行评估，以更全面地评估 QG 技术潜力的方法。实验结果表明，使用多个参考答案进行 QG 评估比使用单个参考答案更为有效，并且更能与人类评估相符合。

May, 2023

最近大型语言模型（LLMs）的发展表明，通过仅给出少量示例，可以生成合成的查询 - 文档对，从而为建立更好的信息检索模型提供支持，特别是对于没有可用训练数据的任务。本文提出通过同时为不同标签生成查询来减轻 LLMs 的负担，通过大量实验发现，以这种方式生成的合成查询在下游任务中表现更好，说明生成的查询确实具有更高的质量。

Nov, 2023

本文研究评估文本生成系统的评价指标，提出了基于语义而非形式的指标 MoverScore，并通过多项任务的验证表明采用上下文表示和距离测度相结合的方法可以取得最佳表现，该指标具有较强的泛化能力，并已提供 Web 服务方便使用。

Sep, 2019

本文介绍了一种新的面向语言生成的评估标准，即 Language Model Augmented Relevance Score（MARS）。该标准引入了强化学习引导的预训练语言模型来创建上下文感知的评估参考，并将之用于对生成文本进行评分。与已有的七种评估标准相比，MARS 不仅更好地反映了人类评价，而且在较大程度上区分了良好生成结果和对抗样本。

Aug, 2021

自动评估开放领域对话系统中回应的质量是一项具有挑战性但又至关重要的任务。我们提出了一种新颖的度量标准，称为 CausalScore，通过测量对话历史和回应之间的因果关系强度来评估回应的相关性。我们的实验结果表明，CausalScore 在与人类判断的一致性方面显著优于现有的领先指标，此外，我们还收集了一个带有人工注释的因果关系对话数据集 CGDIALOG + 以及一组成对人类判断，以促进未来自动度量标准的发展。

Jun, 2024

提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

Jun, 2022

本研究提出了一种基于语义加强的奖励机制和基于 QA 的评估方法，用于解决问题生成中的语义漂移问题，并解决传统评价指标不足的问题，同时提出了两种合成 QA 对的方法，有效的用于半监督 QA 学习中。

Sep, 2019