Dec, 2023

加权合奏模型是强大的持续学习者

PDF
TL;DR在这项研究中，我们研究了增量学习（CL）的问题，其目标是在一系列任务中学习模型，使得先前任务的数据在学习当前任务数据时不可用。我们提出了一种称为 Continual Model Averaging（或 CoMA）的加权集成模型，它在保持稳定性的同时，通过利用可塑性，在当前任务上达到高准确性。我们还提出了一种改进的 CoMA 变体，称为 Continual Fisher-weighted Model Averaging（或 CoFiMA），通过利用模型权重的 Fisher 信息，有选择地对加权集合中的每个参数进行加权。这两种变体概念简单、易于实现，并在多个标准 CL 基准测试中实现了最先进的性能。
continual learningbalanceplasticitystabilityweight-ensembling
发现论文，激发创造
  • 权重插值的持续学习

    该研究提出了一种利用权重融合方法的持续学习新方法，通过在每个新任务之后插值旧模型和新模型的权重，将两个模型合并，以便探索新概念到来后出现的局部最小值。实验结果表明，提出的权重融合方法明显改善了最先进的经验重放算法的性能。

    Apr, 2024

  • 用于分析持续学习者的新度量标准

    在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

    Sep, 2023

  • 自适应权重下的持续学习（CLAW）

    引言一个新的叫做 Continual Learning with Adaptive Weights (CLAW) 的做法，基于概率建模和变分推理来解决深度学习中连续学习的问题。实验表明，在分类准确率和解决 Catastrophic Forgetting 两个方面，CLAW 在六个项目中均取得了最先进的表现。

    Nov, 2019

  • 单模型之外的持续学习

    通过实验验证，本研究探讨了在连续学习过程中使用集成模型的优缺点，提出了一个计算简单、性能优良的算法来解决集成模型带来的高计算成本问题，并解决了连续学习中的遗忘问题。

    Feb, 2022

  • 基于累积参数平均值的双学习器框架，实现塑性与稳定的无模板增量学习

    在增量学习中，我们提出了一个具有累计参数平均的双学习者框架，适用于无例子的场景，并通过任务特定分类器提高预测性能。通过在 CIFAR-100 和 Tiny-ImageNet 上的实验证明，该方法在任务增量学习和类别增量学习中优于多种先进方法。

    Oct, 2023

  • BERT WEAVER: 采用加权平均实现基于 Transformer 的模型的生命周期学习

    提出了一种称为 WEAVER 的简单且高效的后处理方法，该方法将旧知识融入新模型中，从而减少灾难性遗忘，并且在序列方式下，应用 WEAVER 导致与一次性对所有数据进行联合训练相似的单词嵌入分布，同时具有更高的计算效率。

    Feb, 2022

  • 使用时间集成提高在线连续学习的性能和稳定性

    本文研究了模型集成作为一种提高在线持续学习性能和稳定性的方法，并且通过使用轻量级时间集成方法以及结合文献中的几种方法，我们表明该方法可以显着提高性能和稳定性。

    Jun, 2023

  • 自适应权重巩固在连续学习中的应用

    我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

    Jul, 2023

  • EVCL: 弹性变分连续学习与权重巩固

    弹性变分持续学习与权重保持的混合模型可以有效地缓解灾难性遗忘，并能更好地捕捉模型参数与任务特定数据之间的依赖关系。在五个可分辨任务上进行评估，该模型在领域增量和任务增量学习场景中持续优于现有基线模型。

    Jun, 2024

  • WASH：使用通信高效的权重重排，然后平均训练你的集成模型

    WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

    May, 2024