Aug, 2022

自适应还是微调：抽象概括案例研究

PDF
TL;DR本文对使用 fine-tuning 和 adapters 在不同复杂性的摘要任务中进行了多方面的研究，并且研究发现 fine-tuning 通常比使用 adapters 获得更好的性能，而 adapters 在极低资源条件下超越 fine-tuning。
abstractive summarizationpre-trained language modelsfine-tuningadaptersmultifaceted investigations
发现论文，激发创造
  • 高效的少样本微调技术在观点摘要中的应用

    本文提出一种高效的 few-shot 方法来训练与顾客评论相关的摘要模型。该方法利用适配器进行预训练，并在大量未注释的顾客评论和少量人工注释样本上进行微调。实验结果表明，与标准微调相比，自我监督的适配器预训练可以提高摘要质量，减少语法错误和语义错误。

    May, 2022

  • 预训练变形金刚模型在抽象摘要中的有效适应性

    本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。

    Jun, 2019

  • 所有编程语言通用适配器？用于代码搜索和摘要的适配器调节

    本研究提出一种在多语言预训练模型中解决遗忘问题的方法 -- 使用结构适配器仅更新 0.6％的总参数进行微调，取得了代码搜索和汇总任务的最新成果，并在跨语言和低资源情景下实现了良好的性能。

    Mar, 2023

  • 基于微调的抽象摘要模型的实体级事实可适应性

    通过分析对知识冲突的鲁棒性，本文研究了基于微调的抽象概括模型，发现并引入了一种可控的反事实数据增广方法来增强事实适应性，并在两种预训练语言模型（PEGASUS 和 BART）以及两个微调数据集（XSum 和 CNN/DailyMail）上实验证明，该方法在实现原始数据集上的事实一致性的同时提高了事实适应性。

    Feb, 2024

  • AdaptSum: 面向低资源域自适应的摘要生成

    本研究探讨了在低资源环境下，针对六个不同领域的抽象摘要任务中，利用大规模生成模型进行领域自适应预训练的有效性。实验表明，预训练的有效性与预训练数据与目标任务的相似度相关，同时发现预训练会导致预训练模型的灾难性遗忘，但使用一种遗忘较少的学习方法可以缓解这个问题。此外，结果表明低资源和高资源的差距仍然很大，需要更先进的领域自适应方法来解决抽象摘要任务中的问题。

    Mar, 2021

  • 寻找有效的多语言微调方法：摘要中的案例研究

    本文针对文本摘要领域的多语言学习，对三种多语言调优策略（共五个模型）进行广泛的实证评估，实验覆盖 45 种语言，旨在为多语言调优策略设计提供参考。实验结果在 XL-Sum 数据集上取得了新的最佳表现。

    Dec, 2022

  • 预训练语言模型适应的基于转换器的调整方法的有效性研究

    本文研究了基于 Adapter 的微调方法。实验证明，对于某些具有挑战性的任务，Adapter-based tuning 方法比 fine-tuning 效果更好，并且更抗过拟合和更不敏感于学习率的变化。

    Jun, 2021

  • 神经机器翻译的简单可扩展自适应性

    本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

    Sep, 2019

  • 预训练语音模型的高效适配器调优用于自动说话人验证

    通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

    Mar, 2024

  • 轻量级适配器调整用于多语言语音翻译

    本文为多语言语音翻译（ST）提供了适配器的完整分析，其中适配器调整在 NLP 中作为微调的高效替代品，可使 ST 针对特定语言对进行专门优化，并从自动语音识别（ASR）任务和预先训练的 mBART 模型中进行转移，同时节省大量参数，具有与完全微调相当的可比结果。

    Jun, 2021