ACLApr, 2024

F-MALLOC: 神经机器翻译中的前馈式记忆分配连续学习

PDF
TL;DR在神经机器翻译中，前预训练再微调模式取得了令人印象深刻的结果，但灾难性遗忘仍然是一个挑战。为了解决这个问题，我们提出了一种连续学习方法，名为 F-MALLOC (前馈记忆分配)，通过将前馈层分解为离散的记忆单元并将这些记忆分配给不同的任务，从而有效缓解了灾难性遗忘并确保了系统的可扩展性。此外，我们还提出了一个多阶段连续学习评估协议。根据这个新协议进行的实验显示了 F-MALLOC 的出色性能，体现在较高的 BLEU 得分和几乎没有遗忘。
neural machine translationcatastrophic forgettingcontinual learningf-mallocbleu scores
发现论文，激发创造
  • 大型语言模型在连续微调中的灾难性遗忘的实证研究

    大型语言模型在不断微调的过程中存在灾难性遗忘现象，尤其随着规模的增加，遗忘的严重程度也加剧，然而通过单独解码器模型 BLOOMZ 与编码器 - 解码器模型 mT0 的比较，发现 BLOOMZ 遗忘较少且保留更多知识，还观察到语言模型能够在不断微调中缓解语言偏见，同时通用指令微调有助于减轻大型语言模型在进一步微调过程中的遗忘现象。

    Aug, 2023

  • 神经机器翻译的平衡训练：超越持续学习的灾难性遗忘

    针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。

    Mar, 2022

  • 神经机器翻译的连续学习在低遗忘风险区域内进行

    本篇论文提出了一种基于局部特征训练的两阶段方法，能够实现大规模预训练神经机器翻译模型的连续学习，以适应新任务，采用这种方法能够在不访问以前的训练数据或引入模型分离的情况下解决之前方法的不足。

    Nov, 2022

  • 连续学习的记忆变压器

    记忆转换器是应对神经网络在连续学习中面临的灾难性遗忘挑战的一种方法，通过引入混合适配器和基于生成模型的路由机制来减轻这个问题，实现了各种视觉连续学习任务的最新性能和出色的参数效率。

    Apr, 2024

  • 连续学习中实现遗忘预防和知识迁移

    本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

    Dec, 2021

  • 连续学习是否平等遗忘所有参数？

    本文针对持续学习过程中的分布漂移（如任务或领域漂移）导致神经网络对原有任务的忘记问题，研究了神经网络中哪些模块更容易被遗忘，提出了遗忘优先微调（FPF）和基于周期触发的 $k$-FPF 两种方法，取得了较好的效果并显著降低了计算成本。实验表明，FPF 方法在几个增量 CL 基准测试中均能显著提高方法效果，$k$-FPF 进一步提高了效率而不降低准确性。

    Apr, 2023

  • 无遗忘迁移

    本文研究了连续学习和迁移学习之间的纠缠关系，提出了一种新方法 Transfer without Forgetting 来解决预训练网络在后续任务中遗忘知识的问题，并证明其在各种数据集和不同缓冲区大小下都能显着优于其他连续学习方法，平均提高了 4.81％的类增量准确性。

    Jun, 2022

  • 回忆和学习：用更少的忘却对深度预训练语言模型进行微调

    本论文提出了一种召回和学习机制，它采用了多任务学习的思想，联合学习预训练任务和下游任务，通过先简单地回忆预训练任务的知识，然后逐渐关注下游任务的学习，以实现减少忘记的微调。实验表明，该方法在 GLUE 基准上实现了最新的性能，并为 NLP 社区提供了开源的 RecAdam 优化器。

    Apr, 2020

  • 基于正规化流的连续学习伪排练

    本文提出了一种新的方法来解决神经网络训练过程中的 Catastrophic forgetting 问题，该方法结合了正则化和生成模型复习策略的优势，使用基于 internal embeddings 的 normalizing flow 作为生成模型并对其进行调节，取得了较好的性能表现。

    Jul, 2020

  • 大规模多语言持续学习中克服灾难性遗忘

    本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

    May, 2023