该研究在使用 BLEU 和 BERTScore 等基于参考文献的指标评估问题生成（QG）时发现，使用人工编写的参考文献不能保证参考文献指标的有效性。作者提出了一种基于自由参考文献的多维度标准的度量方法，通过利用大型语言模型来评估问题的自然性、可回答性和复杂性，该度量方法不受单个参考问题的句法或语义限制，也不需要多样化的参考文献集合。实验证明，该度量方法能够准确区分高质量问题和有缺陷的问题，并与人类判断达到最先进的一致性。

Mar, 2024

我们提出了一个名为 QGEval 的多维度评估标准，用于对生成的问题和现有的自动评估方法进行评估，涵盖了流畅度、清晰度、简洁度、相关性、一致性、可回答性和回答一致性等七个维度。通过 QGEval 的分析，我们发现大多数问题生成模型在可回答性和回答一致性方面表现不尽人意，并且现有的评估指标无法很好地与人类评估结果相吻合。我们希望这项工作能促进问题生成技术和问题生成自动评估方法的发展。

Jun, 2024

提出了一种基于上下文的问题生成的相关性评估度量，称为 QRelScore，它使用字级层次匹配和基于句子级提示的生成，能够应对复杂的推理和多个证据的多样化生成，并且与现有度量相比，具有更高的相关性，并且更具鲁棒性。

Apr, 2022

本文提出了一种新的基于可回答性而非语言 / 语义相似性的问题评估度量标准 ——RQUGE，并使用合成数据进行微调以进一步提高 QA 模型的性能。

Nov, 2022

提出使用 GPT-3 等大型语言模型来进行问题生成并采用多个（伪）参考答案进行评估，以更全面地评估 QG 技术潜力的方法。实验结果表明，使用多个参考答案进行 QG 评估比使用单个参考答案更为有效，并且更能与人类评估相符合。

May, 2023

本文研究了使用 $n$-gram 相识度量（例如 BLEU、NIST 等）来评估自然语言生成（NLG）系统的性能，尤其是其在从文档、知识图谱、图像等中自动生成问题的系统中的应用。研究发现，当前的自动评估指标并不总是能够客观地评估生成问题的可回答性。为了解决这个问题，本文提出了一个得分函数，并将其与现有的度量标准进行整合，这些度量标准与人类判断的相关性显著提高。

Aug, 2018

本研究提出了一种基于提示的回答可行性度量（PMAN），它是一种新颖的自动评估度量，用于评估生成的问题是否可由参考答案回答，以解决复杂任务如问题生成所面临的评估问题。通过广泛的实验，证明了其评估结果可靠且与人类评估一致。我们还将该度量应用于评估问题生成模型的性能，结果表明该度量与传统度量相辅相成。我们基于 ChatGPT 的问题生成模型达到了最先进的性能。

Sep, 2023

本文提出一种基于无监督学习的问句生成方法，使用自由可得的新闻标题数据通过句法分析、命名实体识别和语义角色标注启发式技术转换成合适的问题，然后与原始新闻文章一起训练一个端到端的神经问句生成模型；通过在多项数据集上的实验证明，该方法生成的人工智能数据集用于训练问答模型，其性能远超过基于无监督学习的问答模型的现有成果。

Sep, 2021

本研究提出了一种基于语义加强的奖励机制和基于 QA 的评估方法，用于解决问题生成中的语义漂移问题，并解决传统评价指标不足的问题，同时提出了两种合成 QA 对的方法，有效的用于半监督 QA 学习中。

Sep, 2019

提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

Jun, 2022