May, 2024

超越灾难性遗忘：整合领域特定模型的通用能力

PDF
TL;DR领域特定大语言模型在领域特定任务微调后的性能下降，并出现了灾难性遗忘的现象，该论文提出了超越灾难性遗忘的领域特定大语言模型在实际应用中所面临的进一步挑战 —— 即一体化的综合通用能力与领域知识，目标不仅是保留先前习得的通用能力和新领域知识，而且要以一种协调的方式利用这两组技能从而提高领域特定任务的性能。以法律领域为例，我们设计了三组具有实用性的训练和测试任务，并构建了相应的数据集。为了更好地在领域特定情境中整合通用能力，我们引入了 ALoRA，该方法使用了一个 LoRA 上的多头注意力模块，从而实现了从前面的标记直接向当前标记传递信息。这种增强允许表示根据注意力动态地在领域特定知识和通用能力之间切换。对所提出的任务进行了大量实验，结果显示了我们设置的重要性和我们方法的有效性。
large language modelscatastrophic forgettinggeneral capabilities integrationaloradomain-specific knowledge
发现论文，激发创造
  • 大型语言模型在连续微调中的灾难性遗忘的实证研究

    大型语言模型在不断微调的过程中存在灾难性遗忘现象，尤其随着规模的增加，遗忘的严重程度也加剧，然而通过单独解码器模型 BLOOMZ 与编码器 - 解码器模型 mT0 的比较，发现 BLOOMZ 遗忘较少且保留更多知识，还观察到语言模型能够在不断微调中缓解语言偏见，同时通用指令微调有助于减轻大型语言模型在进一步微调过程中的遗忘现象。

    Aug, 2023

  • 特化与泛化：对基础模型微调中灾难性遗忘的实证研究

    为了解决 fine-tuning 中特性和广泛适用性之间的矛盾，我们研究了来自持续学习的多种规范化方法和来自越界通用化的权重平均方法，发现持续学习和 Wise-FT 方法可以有效减轻广泛适用性的损失，其中 Wise-FT 在平衡特性和广泛适用性方面表现最好。

    Sep, 2023

  • 深度学习中的灾难性遗忘：全面分类

    近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

    Dec, 2023

  • 量化任务错配对 PEFT 的启示：关于 CLIP 中的领域泛化和灾难性遗忘的探索

    使用领域泛化和灾难性遗忘的角度分析了 CLIP 模型中任务难度与几种简单、参数高效的微调方法之间的关系，通过对零样本图像和文本嵌入的轮廓分数作为任务难度的衡量指标，讨论了任务难度、微调方法、领域泛化和灾难性遗忘之间的可观察关系，并同时展示了在各项任务和性能度量上平均的结果，证明了一种简化的方法 A-CLIP，仅训练注意力权重的子集，可以在领域泛化和灾难性遗忘之间取得平衡。

    Feb, 2024

  • 参数高效调整中的分析与降低灾难性遗忘

    在研究中我们发现，当大型语言模型在复杂多样的特定领域下任务中不断进行微调时，对历史任务的推理性能会显著降低，这就是所谓的灾难性遗忘问题。本文通过模态连接性的透镜，调查了连续 LLM 微调场景中不同极小值之间的几何连接，发现它可以在可塑性和稳定性之间取得平衡。基于这些发现，我们提出了一种称为 Interpolation-based LoRA（I-LoRA）的简单而有效的方法，它基于 LoRA 参数插值构建了双记忆经验回放框架。在八个特定领域的连续学习基准测试上的广泛实验和分析表明，I-LoRA 始终比先前的最先进方法取得显著提升，性能提高了高达 11%，为大型语言模型连续学习问题提供了强大的基准和研究启示。

    Feb, 2024

  • 大规模多语言持续学习中克服灾难性遗忘

    本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

    May, 2023

  • LLM 中实施 1 + N 多任务微调模式的框架 —— 使用 CGC-LORA 算法

    通过使用一种新颖的 Customized Gate Control (CGC) Low-rank Adaptation (LoRA) 算法，我们提出了一个统一的框架，在大规模语言模型（LLMs）中实现了一种 1 + N 多任务微调模式，通过加入两种类型的专家，使 LoRA 与 MTL 相适应，并且在两个公共数据集上表现得比所有基准模型获得更高的评估分数。

    Jan, 2024

  • 大型语言模型调优中重新思考灾难性遗忘

    本文首次揭示了大型语言模型（LLMs）的模型损失面与遗忘程度之间的直接联系，并引入了锐度感知最小化方法来减轻 Catastrophic Forgetting，通过使损失面变得平坦。实验证明该方法在缓解 Catastrophic Forgetting 方面的效果显著，并且通过与现有的抗遗忘策略的结合，进一步增强了 LLMs 的抵抗能力。

    Jun, 2024

  • 基于聚类的领域增量学习

    通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题，成功地应用于域增量学习，并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。

    Sep, 2023

  • 大型语言模型（LLM）的利用中的挑战和影响因素

    当面临领域特定问题时，大语言模型（LLMs）可能会遇到问题，如知识遗忘、知识重复、知识幻觉以及知识毒性，这些问题突显了 LLMs 的训练数据和算法设计的困扰。为了解决这些问题，建议对训练数据进行多样化，微调模型，提高透明度和可解释性，并引入伦理和公平性培训。未来的技术趋势可能会倾向于迭代方法学、多模态学习、模型个性化定制以及实时学习和反馈机制。最重要的是，未来的 LLMs 应确保在为人类服务时优先考虑公平、透明和伦理，确保它们持有高的道义和道德标准。

    Oct, 2023