Oct, 2023

TAIL：大型预训练模型的任务专用适配器用于模仿学习

PDF
TL;DRTAIL 框架通过使用 LoRA 技术实现对大型预训练模型的高效适应，其在新任务中只使用了 1% 的可训练参数，避免了灾难性遗忘并保持了持续学习环境中的适应能力。
large pretrained modelscontrol domainsefficient adaptationfine-tuning techniquescontinual learning
发现论文，激发创造
  • 透过 Adapter 实现基于预训练语言模型的强大迁移学习

    本文提出了一种简单而有效的适配器方法来提高预训练模型在下游任务的稳定性和抗攻击性。该方法为预训练模型的每层插入小型的瓶颈层，然后在下游任务数据上固定预训练层并训练适配器层，通过在任务特定的无监督训练和监督训练 (e.g., 分类、序列标注) 的过程中，提高了转移学习的性能。

    Aug, 2021

  • 参数高效的长尾识别

    通过引入 PEL 方法，该研究通过少于 20 个时期的微调，无需额外数据即可适应长尾识别任务，并通过在分类器初始化中采用 CLIP 文本编码器的新颖技术解决了过度拟合问题，从而持续优于之前的最佳方法。

    Sep, 2023

  • BeTAIL: 人工赛车游戏中基于行为转换的对抗模仿学习

    BeTAIL 是一种结合行为转换（BeT）和在线对抗仿真学习（AIL）的方法，用于建模人类专家的顺序决策流程并纠正动态环境状态的变化，从而改善赛车性能和稳定性。

    Feb, 2024

  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022

  • 基于推理时间的策略适配器（IPA）：无需微调个性化极限规模的语言模型

    该研究提出了一种名为 IPA 的推理时间策略适配器，可以通过强化学习的方式有效地引导大型语言模型进行解码，以优化任意用户目标，在文本生成等任务上取得了显著的改进。

    May, 2023

  • RE-Adapt: 大型语言模型的逆向工程适应

    通过逆向设计适配器，我们介绍了 RE-Adapt 方法，该方法无需使用额外的数据或训练，可以在新域上对基础模型进行微调，并借助逆向设计的适配器重新适应指令跟踪，以优于其他微调方法。

    May, 2024

  • 流式多语种 ASR 中对尾语言的高效适配器微调

    通过在流式多语种 ASR 中引入语言相关适配器（LDA）微调和基于教师伪标签技术，本研究提出的方法有效地减少了平均 12.2% 的词错误率，并在单个场景中最多降低了 37.5% 的错误率，从而显著缓解了异步峰值性能问题。

    Jan, 2024

  • NLP 的参数高效迁移学习

    通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

    Feb, 2019

  • 大型 Transformer 的循环适应

    本文提出了一种名为 REcurrent ADaption (READ) 的轻量级记忆型微调方法，可以在保持高模型质量的情况下，大大降低训练的内存消耗和 GPU 能源使用，特别适用于微调大型 Transformers 模型。

    May, 2023

  • RLAdapter: 在开放环境中将大型语言模型与强化学习相结合

    RLAdapter 通过引入一个适配器模型，在强化学习和大型语言模型之间建立更好的联系，通过在 RL 代理的训练过程中生成的信息来微调轻量级语言模型，从而在适应下游任务方面提供更好的指导，并在 Crafter 环境中实验表明 RLAdapter 超过了基线模型，且我们的框架下的代理展现出了常识行为。

    Sep, 2023