本文研究了使用 $n$-gram 相识度量（例如 BLEU、NIST 等）来评估自然语言生成（NLG）系统的性能，尤其是其在从文档、知识图谱、图像等中自动生成问题的系统中的应用。研究发现，当前的自动评估指标并不总是能够客观地评估生成问题的可回答性。为了解决这个问题，本文提出了一个得分函数，并将其与现有的度量标准进行整合，这些度量标准与人类判断的相关性显著提高。

Aug, 2018

本研究提出了一种基于提示的回答可行性度量（PMAN），它是一种新颖的自动评估度量，用于评估生成的问题是否可由参考答案回答，以解决复杂任务如问题生成所面临的评估问题。通过广泛的实验，证明了其评估结果可靠且与人类评估一致。我们还将该度量应用于评估问题生成模型的性能，结果表明该度量与传统度量相辅相成。我们基于 ChatGPT 的问题生成模型达到了最先进的性能。

Sep, 2023

通过综合六个关键维度的语义指标设计了一个全面的关键词提取系统评估框架，发现预训练语言模型在大多数维度上表现最好，而且在无参考评估中表现出色。

Mar, 2023

通过创建 IQN-KGQA 测试集，从五个角度对自然度的问题进行了评估并对其进行了改写，以改进自然语言处理中 KGQA 模型的性能并解决构建大规模 KGQA 数据集的挑战。

May, 2022

提出了一种新的参考无需评估指标 QAScore，通过计算语言模型能否正确生成答案中掩码单词的概率来评估问题，发现它比传统的基于单词重叠的 BLEU，ROUGE 和预训练模型基于 BERTScore 等指标更能与人类判断相关。

Oct, 2022

提出一种基于问答的评估度量标准（QAEval）来评估摘要的内容质量，通过分析 QAEval，证明 QA-based methods 相较于传统的基于文本内部匹配的度量标准（如 ROUGE）更加准确。

Oct, 2020

本文研究了使用抽取的关键词进行采样来生成人类文本回答的问题，提出了一种使用知识蒸馏技术来提取关键词的新方法，并表明该方法在 QA 任务中的表现优于常用的解码方法。

May, 2023

提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

Jun, 2022

使用多个参考答案的评估指标 SQuArE（基于句子级问题回答评估）对句子形式的 QA 系统进行评估，显示其优于以往的基准线，并获得与人工评注最高的相关性。

Sep, 2023

我们提出了一个名为 QGEval 的多维度评估标准，用于对生成的问题和现有的自动评估方法进行评估，涵盖了流畅度、清晰度、简洁度、相关性、一致性、可回答性和回答一致性等七个维度。通过 QGEval 的分析，我们发现大多数问题生成模型在可回答性和回答一致性方面表现不尽人意，并且现有的评估指标无法很好地与人类评估结果相吻合。我们希望这项工作能促进问题生成技术和问题生成自动评估方法的发展。

Jun, 2024