本文中，我们对自然语言生成功能的输出质量提出问题，通过收集人类演示和信息反馈数据集 DeFacto，我们进行了两项自然语言生成任务的研究，旨在通过实现信息反馈来提高自然语言生成模型的质量，改善与用户需求的匹配度。

Dec, 2022

本文提出了一个名为 ASQA 的任务，旨在回答需要深入解释的问题，并提出了一个在 ASQA 上测量表现的可靠度量标准，以及释放了一个新的数据集，用于解决长期问答任务中仍然存在的高质量数据缺乏和答案质量定义模糊的问题。

Apr, 2022

该研究提出了一种基于自动问答的 faithfulness 评估度量方式（FEQA），并发现当前的神经抽象概括模型存在抽象度和忠实度的权衡关系。

May, 2020

本文提出了一种解决摘要生成模型中可能存在错误信息的方法，策略包括评估指标度量、新型学习算法、人工评估等，并通过大量实验证明该方法对提高信息事实准确性和提高摘要整体质量都非常有效。

May, 2021

本文分析了以往的研究结果，发现 QA 基础框架在生成摘要时无法正确标定错误位置，并且由于 QG 模块生成的问题中存在非事实性错误，使问题进一步扩散。尽管进行人类辅助的问题生成也并不能轻易地解决这些问题。因此，实验结果表明，QA 框架在错误的局部化方面存在根本问题，不能仅仅通过加强 QA 和 QG 模型来解决。

Oct, 2022

本文提出了一种基于多任务学习的科学问题验证方法，该方法结合了信息概括、布尔问答、提取式问题回答和语义理解技术。该方法在欧洲 PMC 的 300 万篇医学和健康领域 OA 文章上，在 BERT 和 RoBERTa 问答模型的实验中，实现了 4％的平均误差率和 95.6％的 F1 分数。

Apr, 2022

通过使用知识图谱增强大型语言模型的问答性能，我们提出了 EFSum，一种以证据为中心的事实摘要框架，它通过蒸馏和偏好对齐来优化语言模型作为事实摘要器，从而改进了零 - shot 问答性能，且可以确保摘要的有用性和忠实性。

Mar, 2024

本文针对文本摘要模型中的事实一致性问题展开研究，对比了基于蕴含和基于问答的度量方法，并且提出了一种优化的基于问答的度量方法 QAFactEval，相较之前的方法平均提高了 14% 的 SummaC 事实一致性基准测试性能，并且在最好的基于蕴含的方法之上表现更佳。此外，我们发现基于问答和基于蕴含的度量方法可以互补，结合起来可以提高摘要模型的性能

Dec, 2021

本研究提出了 Faithfulness Enhanced Summarization (FES) 模型，该模型使用 question-answering (QA) 技术检查 encoder 是否完全理解输入文档，并回答关键信息的问题，并引入 max-margin loss 来防止语言模型的过度自信。实验表明，我们的模型在两个基准摘要数据集 CNN/DM 和 XSum 上显著优于强对比模型，并生成比对比模型更符合事实的摘要。

Oct, 2022

本论文研究了长篇问答系统的相关性、可靠性和简洁性，旨在改进问题相关性、答案可靠性和简洁性等方面的答案质量。

Nov, 2022