本文研究使用预训练的转换器模型对医患对话转录进行自动摘要的可行性，展示了在特定构造的数据集上，使用有限的训练数据 fine-tuning BART 可以生成流畅而足够的摘要，其生成效果远远超过人工注释者和先前发表的作品质量，并提出了多阶段的方法来处理较长的对话。

Sep, 2021

通过使用强化学习优化模型的奖励函数来预测人类偏好总结，本文展示了可显著提高总结质量的可能性，并在 TL;DR 数据集上取得了显著的优势。

Sep, 2020

该研究提出了 RadBARTsum，一种领域特定的、本体学支持的适应 BART 模型的放射学报告摘要方法。该方法包括两个主要步骤：1）使用一种新颖的实体屏蔽策略在大量放射学报告语料库上重新训练 BART 模型以提高生物医学领域知识学习，2）使用调查结果和背景部分进行模型微调以预测结论部分。实验采用不同的屏蔽策略进行，结果显示使用领域知识屏蔽的重新训练过程在各种设置下均能持续提高性能。该工作为放射学报告摘要提供了一种领域特定生成型语言模型，以及一种利用医学知识实现实体屏蔽语言模型的方法。所提出的方法展示了通过加深对放射学报告的临床知识理解来提高语言模型效率的一个有希望的方向。

Jun, 2024

本研究论文针对新闻文本自动摘要的抽取和生成方法进行了广泛的比较评估，重点分析了 ROUGE 分数。研究使用 CNN-Daily Mail 数据集，包括新闻文章和人工生成的参考摘要。通过 ROUGE 分数评估生成摘要的效果和质量，再将表现最佳的模型整合到 Web 应用程序中，评估其在真实世界中的能力和用户体验。

Oct, 2023

改进发展中国家中的心理健康支持是迫切的需求，其中一个潜在解决方案是开发可扩展的自动化系统进行诊断筛查，可以帮助减轻心理健康专业人员的负担。本研究评估了几种最先进的大型语言模型（LLMs），在我们的定制数据集上进行了简明摘要生成的评估。我们使用已建立的 ROUGE 评估指标和人工评估员的输入，对四种不同的摘要生成模型进行了严格评估。结果显示，我们表现最好的经过细化调整的模型优于现有模型，ROUGE-1 和 ROUGE-L 分别达到 0.810 和 0.764。此外，我们还评估了该经过细化调整的模型在公开可用的 D4 数据集上的泛化能力，结果令人鼓舞，表明其潜在的适用性超出了我们的定制数据集。

Mar, 2024

本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

Mar, 2021

本研究提出使用 local self-attention 和 explicit content selection 两种方法来应对长篇文档摘要中的长跨度依赖，并利用大型预训练变压器模型在 Spotify Podcast、arXiv 和 PubMed 等标准数据集上进行实验，证明两种方法的组合可以在 3 个任务中实现 ROUGE 得分的最优结果。此外，与现有算法相比，在没有大规模 GPU 计算机卡的情况下，本研究的方法也可以实现相当或更好的结果。

May, 2021

利用自注意力变换器模型（mBERT, mT5）以及构建新的基准数据集（76.5k 的文章摘要对），在资源有限的语言乌尔都语中，提出了一个自适应低资源摘要方法，能够有效地捕捉低资源语言的上下文信息并取得与英文高资源语言中最先进模型相媲美的评估结果。

Oct, 2023

本文分析生成模型的训练动态，特别是聚焦于总结的方面，并研究了不同阶段的训练过程中模型学到的东西，通过简单的训练修正可以实现不同目标，比如提高事实性和提高抽象程度。

Oct, 2021

本文提出一种高效的 few-shot 方法来训练与顾客评论相关的摘要模型。该方法利用适配器进行预训练，并在大量未注释的顾客评论和少量人工注释样本上进行微调。实验结果表明，与标准微调相比，自我监督的适配器预训练可以提高摘要质量，减少语法错误和语义错误。

May, 2022