AdapterSwap：带有数据删除和访问控制保证的 LLM 连续训练

Apr, 2024

AdapterSwap：带有数据删除和访问控制保证的 LLM 连续训练

AdapterSwap: Continuous Training of LLMs with Data Removal and Access-Control Guarantees

William Fleshman, Aleem Khan, Marc Marone, Benjamin Van Durme

TL;DR大型语言模型（LLM）可以通过从静态预训练语料库中提取信息来完成知识密集型任务。我们介绍了一种名为 AdapterSwap 的训练和推理方案，它将数据集中的知识组织成一组低秩适配器，并在推理过程中动态组合，以解决在不断演变的数据需求背景下既满足新数据需求又不忘记旧信息的问题。我们的实验证明了 AdapterSwap 在支持高效的持续学习的同时，还能使组织对数据访问和删除拥有细粒度的控制。

Abstract

large language models (LLMs) are increasingly capable of completing knowledge intensive tasks by recalling information from a static pretraining corpus. Here we are concerned with LLMs in the context of evolving data re

large language models evolving data requirements adapterswap continual learning data access and deletion

发现论文，激发创造

大型语言模型的持续学习：一项调研

该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对 LLMs 的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。

Feb, 2024

面向任务的高效剪枝适配器

本文介绍了一种任务导向的剪枝适配器方法，可以在保持 GLUE 任务准确度的前提下，大幅提高训练和推理的内存和时间效率。

Mar, 2023

通过适配器在知识图谱上将多语言 LLMs 调整为资源不足的语言

该研究探讨了将语义本体中的图谱知识整合到多语言大型语言模型中，通过适配器提高低资源语言在情感分析和命名实体识别中的性能，对八种低资源语言进行了实证评估，提供了适应低资源情景的语言模型优势的见解。

Jul, 2024

提高多语言知识和文本建模能力的适配器

本文提出了在多种语言中增强多语言知识图谱 (MLKGs) 的多语言语言模型 (MLLMs) 的轻量级适配器，以利用跨语言实体对齐和从 MLKGs 中获取事实，并在共同基准实验中展示了该增强模型在语言理解任务和知识图谱任务方面的性能优势。

Oct, 2022

RLAdapter: 在开放环境中将大型语言模型与强化学习相结合

RLAdapter 通过引入一个适配器模型，在强化学习和大型语言模型之间建立更好的联系，通过在 RL 代理的训练过程中生成的信息来微调轻量级语言模型，从而在适应下游任务方面提供更好的指导，并在 Crafter 环境中实验表明 RLAdapter 超过了基线模型，且我们的框架下的代理展现出了常识行为。

Sep, 2023

遗忘您想遗忘的内容：针对 LLMs 的高效遗忘方法

提出了一种高效的取消学习框架，通过引入轻量级的取消学习层并与 transformers 结合，可以在不对整个模型重新训练的情况下有效地更新大型语言模型，以解决用户数据隐私与数据保护法规的问题。实验证明，与现有技术相比，我们提出的方法在分类和生成任务上的有效性得到了验证。

Oct, 2023

当生活给你 LLMs 时，制作 LLM-ADE：具有自适应数据工程的大型语言模型

LLM-ADE 框架是一个新颖的大型语言模型（LLMs）连续预训练方法，解决了灾难性遗忘和双下降的挑战。在特定数据集上，LLM-ADE 采用了动态架构调整的策略，包括选择性冻结和扩展，以增强模型对新数据的适应性，同时保留先前获得的知识。我们通过在各种通用知识基准测试上展示 LLM-ADE 在 TinyLlama 模型上的有效性，显示出显著的性能改进，避免了传统连续训练方法的缺点。这种方法在实际应用中有着更多的灵活性和鲁棒性。

Apr, 2024

面向大型语言模型的终身学习：一项调查

大语言模型（LLMs）中的终身学习可以不断地适应和学习新知识，并通过持续预训练、持续微调和模型扩展等技术来提高模型的适应性和性能。

Jun, 2024

大规模语言模型的持续学习：一项综合调研

对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

Apr, 2024

朝实用性工具使用的方向：为不断学习的 LLMs 而努力

大型语言模型具有解决语言相关任务的天赋，但由于它们静止于参数中的知识的局限性，存在无法应对信息变化和任务技能过时的问题。工具使用能帮助 LLM 通过接口获得外部系统的支持，但使用工具的 LLM 仍需适应不稳定的环境，并且需要学会使用预定义的工具。为验证这一观点，我们开发了一个合成基准并聚合了现有的自然语言处理任务，形成一个更加真实的测试场景。我们证明模型规模扩大并非解决方案，而不论是否使用工具，持续学习技术都能使工具型 LLM 更快适应并遗忘更少，凸显了它们作为持续学习者的潜力。

Apr, 2024