通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。
Apr, 2022
该研究提出了一种结构注入的复制机制，将源依赖关系结构与抽象的句子摘要生成器的复制机制自然地结合起来。实验结果显示将源语句的句法信息纳入系统的有效性，并且我们提出的方法与最先进的方法相比，取得了较好的效果。
Jun, 2018
本文介绍了关于 NMT 的 SPARQL 查询语句生成的最新研究，并比较了预训练和非预训练模型、问题注释格式以及无需预训练和预训练模型的复制机制的使用。实验结果表明，无论是添加复制机制还是使用问题注释都可以提高非预训练模型和预训练模型的性能，为三个流行数据集设定新的基准线。
Apr, 2023
最近几年，迅速调整在适应下游任务的预训练视觉语言模型方面已被证明是有效的。我们提出了一种新颖的方法，只读提示优化 (RPO)，它利用遮罩注意力来防止预训练模型中的内部表示偏移。我们的实验结果表明，RPO 在基于新的泛化和域泛化方面优于 CLIP 和 CoCoOp，同时具有更好的鲁棒性。此外，该方法在极度数据不足的情况下实现了更好的泛化，同时改善了参数效率和计算开销。
Aug, 2023
PromptSum 方法结合 Prompt 调优技术、多任务目标和离散实体提示，实现了在高效参数、高效数据和可控性三重条件下的强大自动摘要性能。
该研究提出了一种新的模拟自动后期编辑过程中的复制机制的方法，通过在源句子和系统输出之间交互学习来更好地识别翻译错误，并在 WMT 数据集上的实验中进行验证，表现优于以往最佳结果。
Nov, 2019
利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。
Sep, 2023
本文提出了一种用于代码摘要的新型提示学习框架，称为 PromptCS，该框架训练了一个能够生成连续提示的提示代理，以释放大语言模型在代码摘要中的潜力，相比于人工编写的离散提示，连续提示更易于大语言模型理解。PromptCS 在 CodeSearchNet 数据集上的评估结果表明，优于所有四个广泛使用的度量标准的指导学习方案，并且在某些基础大语言模型上，例如 CodeGen-Multi-2B 和 StarCoderBase-1B 和 - 3B，甚至优于任务导向的微调方案。重要的是，PromptCS 的训练效率比任务导向的微调方案更快，在较大的大语言模型上具有更明显的优势。人工评估的结果表明，与基准相比，PromptCS 能够生成更好的摘要。
Dec, 2023
该论文提出了一种基于预训练语言模型转换对话到叙述语言的技术，利用此技术可以显著提高对话摘要的性能，而且具有低的实施成本。
本篇论文开发了一种新的 Seq2Seq 模型，该模型将一个复制解码器和一个受限生成解码器融合在一起，并利用一个预测器来预测复制或重写的模式以确定最终输出，在两个不同的复述数据集上进行广泛的实验，结果表明我们的模型在信息量和语言质量方面均优于现有的最先进方法。
Nov, 2016