ACLMay, 2022

高效的少样本微调技术在观点摘要中的应用

PDF
TL;DR本文提出一种高效的 few-shot 方法来训练与顾客评论相关的摘要模型。该方法利用适配器进行预训练，并在大量未注释的顾客评论和少量人工注释样本上进行微调。实验结果表明，与标准微调相比，自我监督的适配器预训练可以提高摘要质量，减少语法错误和语义错误。
abstractive summarization modelsopinion summarizationfew-shot methodadaptersself-supervised adapter pre-training
发现论文，激发创造
  • 自适应还是微调：抽象概括案例研究

    本文对使用 fine-tuning 和 adapters 在不同复杂性的摘要任务中进行了多方面的研究，并且研究发现 fine-tuning 通常比使用 adapters 获得更好的性能，而 adapters 在极低资源条件下超越 fine-tuning。

    Aug, 2022

  • 借助中间微调和数据增强改善零和少样本抽象摘要

    本论文提出了在数据集特定方式下通过对预训练模型进行微调以实现摘要生成的新型通用方法 - WikiTransfer，并使用循环全球翻译的数据扩增和正则化来提高性能，最终在 CNN-DailyMail 数据集上取得了最先进的性能

    Oct, 2020

  • 观点摘要的小样本学习

    本文介绍了一种学习无监督条款，在生成模型中引入少量样本来捕获其必要属性的方法，用于生成商品评论等主观性文本的摘要，该方法比以往的提取和抽象方法更有效。

    Apr, 2020

  • 通过选择有信息量的评论学习观点摘要器

    本文研究了如何在大数据集上进行意见总结，并通过选择有信息量的评论子集并联合学习摘要生成器来解决这个问题。

    Sep, 2021

  • 预训练变形金刚模型在抽象摘要中的有效适应性

    本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。

    Jun, 2019

  • 信息丰富且可控的观点摘要

    本文提出了一种摘要框架，通过将目标的所有评论压缩为多个密集向量以代替传统的前置筛选步骤，从而最大化地保留所有信息，进而生成更具信息量的摘要，并且采用零样本技术，能够有效地生成根据用户需求定制的摘要，实验结果表明了该模型在 Rotten Tomatoes 数据集上的优越性能。

    Sep, 2019

  • 基于微调的抽象摘要模型的实体级事实可适应性

    通过分析对知识冲突的鲁棒性，本文研究了基于微调的抽象概括模型，发现并引入了一种可控的反事实数据增广方法来增强事实适应性，并在两种预训练语言模型（PEGASUS 和 BART）以及两个微调数据集（XSum 和 CNN/DailyMail）上实验证明，该方法在实现原始数据集上的事实一致性的同时提高了事实适应性。

    Feb, 2024

  • OpineSum: 基于蕴含的自训练方法用于抽象意见摘要

    本文提出了一种基于自我训练的抽象化意见摘要方法 OpineSum，该方法使用文本蕴涵的新颖应用程序来捕捉一个项目的各种评论中的意见共识，从而在大规模上获得银标准摘要并训练无监督和少量样本的摘要系统，而在结构中实现了最先进的性能。

    Dec, 2022

  • 无监督舆情摘要生成与加噪声去噪声技术

    本文介绍了一种基于🈚️ground truth summaries 的情况下，利用文档创建合成数据集、引入多种噪声生成函数以及学习生成原始评论的摘要模型的方法，该方法比抽取式和生成式基线模型都有更好的效果。

    Apr, 2020

  • PSP: 面向少样本抽象摘要的预训练软提示

    通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。

    Apr, 2022