本论文研究了电子病历的快速采用对临床人员面临的文档负担增加、医生与患者交流减少以及医生职业倦怠增加等问题，并提出了自动生成病人住院摘要的自动化解决方案，通过模型评估和领域适应等方法改进了模型质量和实体抽取的准确性。

Apr, 2024

本研究针对长文本自动摘要难以进行人工评估的问题，通过对 162 篇长文本摘要论文的调研，提出了一种针对长文本自动摘要信度评估的人工评估指南 LongEval，其中包括如何实现准确的信度得分，减少评估者的工作量，以及人工与自动化对齐等方面的考虑，并通过在两个不同领域的长文本摘要数据集上进行注释研究，发现在精细度方面，如句子的级别，能够显著降低评估者之间的差异。

Jan, 2023

本文提出系统研究 faithfulness metrics 在对话摘要任务上的应用，发现对于绝大部分度量方法而言，在对话数据上的表现与人类判断的相关性较差。为了提高 faithfulness metrics 在对话摘要任务上的性能，我们还采用了 fine-tuning on in-domain dataset 和 unlikelihood training on negative samples 等技术。最后提出 T0-Score 度量方法，其在多个领域上均能稳定提高评价性能。

Nov, 2022

介绍了为临床诊断过程生成出院小结的任务，该任务需要忠实、可追溯，并适用于多个长文档，因此推动了采用提取 - 摘要级联的文本摘要方法。提出了两个新的度量方式：忠诚度和臆断率，补充了流畅度和信息性等现有度量方式。结果显示，支持可追溯性的文本摘要结构提供了有希望的结果，并且一种句子重写的方法在生成的多个部分上对于忠实度调整 $F_3$ 的度量表现一致。

Apr, 2021

我们研究了医学文本概述的忠实性，发现当前的概述模型常常会产生不忠实的输出，因此我们引入了 FAMESUMM 框架来改进忠实性，并通过对医学知识进行预训练模型微调，使用对比学习的方式提高医学术语的忠实生成，实验结果和医生的人工评估都证明了 FAMESUMM 在忠实性和总体质量的指标上具有优越性。

Nov, 2023

通过对虚构书籍的长篇小说生成概述的大规模人类评估，本论文揭示了长篇大语境语言模型在生成摘要时的忠实度和内容选择方面的问题，并且提出了检测生成的摘要中不忠实内容的重要性，同时也探讨了在书籍概述中与关键故事元素相关的遗漏错误以及朝末尾发生事件的系统过度强调。

Apr, 2024

介绍了医院纪录摘要的任务，提出了构建一个由 109,000 个入院病例的医师所写的 “简短住院经过” 段落和相应摘要代理构成的英文文本数据集，并通过实证分析确认其高抽象性、简洁全面性、不同的组织风格，是模拟这种复杂的、多文档摘要任务的重要实例。

Apr, 2021

分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

May, 2020

本文提出了一种系统评估对话摘要的方法，并通过人工分析发现现有模型中有超过 35% 生成的摘要与原始对话不符，其评估工具与样本数据可用于未来的研究。

Oct, 2022

该研究提出了一种基于自动问答的 faithfulness 评估度量方式（FEQA），并发现当前的神经抽象概括模型存在抽象度和忠实度的权衡关系。

May, 2020