Nov, 2022

UniSumm: 统一的 Few-shot 摘要生成：多任务预训练和前缀微调

PDF
TL;DR提出一种称为 UniSumm 的统一的 few-shot summarization 模型来共同处理多个任务，并可前缀调整以适应任何 few-shot summarization 数据集，并宣传了一个新的基准 SummZoo，其由 8 个不同的生成任务组成， 结果表明，UniSumm 超越了强基准系统，并在 SummZoo 的所有任务中都通过自动和人工评估实现了更好的效果。
few-shot summarizationunisummsummzooshareable knowledgedatasets
发现论文，激发创造
  • 借助中间微调和数据增强改善零和少样本抽象摘要

    本论文提出了在数据集特定方式下通过对预训练模型进行微调以实现摘要生成的新型通用方法 - WikiTransfer，并使用循环全球翻译的数据扩增和正则化来提高性能，最终在 CNN-DailyMail 数据集上取得了最先进的性能

    Oct, 2020

  • USB：跨任务和领域的统一摘要基准

    本研究提出一个多维理解摘要的基准测试，并在其上比较了多种模型的性能，发现中等规模的微调模型在多个任务上始终优于更大的几次提示语言模型。同时发现，对于某些任务，训练数据的数量比其来源领域更重要，而对于其他任务，尽管数据量有限，但特定领域的数据更为有益。

    May, 2023

  • 带前缀合并的小样本查询驱动摘要

    本文提出并探究使用基于前缀的预训练策略 (prefix-merging) 将文本摘要和问答系统的知识转移应用到查询集中摘要系统的少样本学习中，该方法优于微调 (fine-tuning)。此外，本文还讨论了不同前缀设计的影响并提出可视化解释，旨在解决查询集中摘要系统的数据不足问题。

    Nov, 2022

  • PSP: 面向少样本抽象摘要的预训练软提示

    通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。

    Apr, 2022

  • 观点摘要的小样本学习

    本文介绍了一种学习无监督条款，在生成模型中引入少量样本来捕获其必要属性的方法，用于生成商品评论等主观性文本的摘要，该方法比以往的提取和抽象方法更有效。

    Apr, 2020

  • 面向领域的前缀微调：用于零样本对话摘要的高效且具有通用性的微调方法

    本文提出了一种高效且通用的基于领域的前缀微调模型，利用领域词初始化前缀模块以减轻领域交错，采用离散提示来引导模型关注对话的关键内容并增强模型的泛化能力。我们在 TODSum 和 QMSum 数据集上进行了零 - shot 实验，并构建了领域自适应基准。充分的实验和定性分析证明了我们方法的有效性。

    Apr, 2022

  • UniMS: 面向多模态摘要的统一框架与知识蒸馏

    提出了一种基于 BART 和 UniMS 的统一多模式摘要框架，该框架集成了抽取和生成目标，以及图像选择，通过视觉语言预训练模型进行知识蒸馏来改进图像选择，并引入视觉引导解码器来更好地整合文本和视觉模态，证明了提出的方法明显改善了多模态摘要任务的新状态 - of-the-art 结果。

    Sep, 2021

  • 跨语言抽象摘要的多任务学习

    Transum 是一种多任务学习框架，可以将真实数据及伪造数据结合起来用于神经编码器 - 解码器的训练，达到在汉英和阿拉伯英文摘要、中英、阿拉伯英翻译任务中均获得最佳 ROUGE 分的效果，此外还对机器翻译任务有积极的影响。

    Oct, 2020

  • 高效的少样本微调技术在观点摘要中的应用

    本文提出一种高效的 few-shot 方法来训练与顾客评论相关的摘要模型。该方法利用适配器进行预训练，并在大量未注释的顾客评论和少量人工注释样本上进行微调。实验结果表明，与标准微调相比，自我监督的适配器预训练可以提高摘要质量，减少语法错误和语义错误。

    May, 2022

  • 大规模多角度意见总结与多样化评论子集

    本研究提出了 SUBSUMM，一种用于大规模多角度意见摘要的监督式摘要框架，实验证明该框架能够从数百个输入的评论中生成正面、负面和结论性摘要，并且深度分析表明评论子集的先进选择和两阶段训练方案对提高摘要性能至关重要。

    Oct, 2023