ACLJun, 2021

自然语言生成的预训练 - 微调范式中的子词缝隙填补

PDF
TL;DR该文提出了一种通过嵌入传递来解决预训练 - 微调范式中的一些缺陷的方法，该方法可以提高预训练模型在自然语言生成（NLG）任务中的效果，实验表明该策略能够自由传输词汇，从而导致下游 NLG 模型执行更高效和更好。
pretrain-finetune paradigmnatural language generationembedding transferdownstream tasksvocabulary transfer
发现论文，激发创造
  • 透过 Adapter 实现基于预训练语言模型的强大迁移学习

    本文提出了一种简单而有效的适配器方法来提高预训练模型在下游任务的稳定性和抗攻击性。该方法为预训练模型的每层插入小型的瓶颈层，然后在下游任务数据上固定预训练层并训练适配器层，通过在任务特定的无监督训练和监督训练 (e.g., 分类、序列标注) 的过程中，提高了转移学习的性能。

    Aug, 2021

  • 连接预训练与微调：面向端到端语音翻译的差距缩小

    本文提出使用 Tandem Connectionist Encoding Network 解决传统方法在 end-to-end 语音翻译中 fine-tuning 与 pre-training 之间巨大差距的问题，进而设计了两种简单且有效的方法保证语音编码器的输出和 MT 编码器的输入在语义表示和序列长度上一致。通过实验，我们的模型在一个大型基准数据集上优于基线 2.2 BLEU。

    Sep, 2019

  • 利用多语言序列到序列预训练技术在文本生成与理解中弥合跨语言差距

    本文提出了一种通过引入代码切换任务来减少跨语言场景下的数据和任务差异从而提高多语言序列到序列预训练语言模型（multilingual Seq2Seq PLMs) 的性能的方法，实验结果表明该方法显著优于以标准微调策略微调的基准模型 mBART，可以缩小跨语言句子表示的欧几里得距离，并且在计算成本方面没有太多的增加。

    Apr, 2022

  • 自然语言处理的预训练 - 微调范式教程

    预训练 - 微调范式是一种创新的自然语言处理方法，通过使用大型预训练语言模型，在有限的训练数据下，展现出卓越的效率，尤其适用于社会科学研究。本教程全面介绍了预训练 - 微调范式的基本概念并提供实际应用示例，包括多类别分类和回归。旨在鼓励更广泛地采用该范式，教程为心理学领域的定量研究人员提供了有价值的指南。

    Mar, 2024

  • 注入语义依存关系的微调

    应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

    Dec, 2020

  • 从预训练模型获取知识到神经机器翻译

    本文提出了一种 APT 框架，在神经机器翻译中利用预训练模型的语言知识，该框架包括两个模块：1）动态融合机制，将从通用知识中适应的任务特定特征融合到 NMT 网络中；2）知识蒸馏范式，在 NMT 训练过程中连续学习语言知识。实验结果表明，我们的模型优于强基线和微调对应模型。

    Dec, 2019

  • HyperPELT：统一参数高效的语言模型调整，适用于语言和视觉语言任务

    本文提出一种基于预训练的参数高效迁移学习框架，使用共享的超网络对预训练语言模型进行微调，支持语言和视觉任务，并在多任务学习中具有较好的性能和转移能力。

    Mar, 2022

  • 句子编码任务的课程迁移学习

    通过数据操纵和语法分析引导的一系列预训练步骤（课程），在源任务与目标任务分布漂移时实现进一步逐步适应，相较于其他已知的预训练方法，在 MultiWoZ 任务方面取得了显著的改进。

    Aug, 2023

  • SMART: 面向预训练自然语言模型的强健高效微调技术

    本文提出一种基于 Bregman 的 Trust-Region 优化的平滑正则化框架，用于更加有效地对预训练语言模型进行微调，避免过拟合和知识遗忘，通过实验表明在多项 NLP benchmarks 上达到了最新的性能水平。

    Nov, 2019

  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020