ICCVAug, 2023

ScrollNet：动态权重重要性的持续学习

PDF
TL;DRScrollNet 是一种滚动神经网络，通过在数据曝光之前为每个任务分配权重重要性排名，从而实现序贯任务学习中更有利的稳定性和可塑性权衡。我们的实验结果表明 ScrollNet 与各种持续学习方法的结合方法是有效的。
continual learningscrollnetneural networkweight importancestability-plasticity tradeoff
发现论文，激发创造
  • 循环神经网络中的持续学习

    本文针对循环神经网络 (RNNs) 顺序数据的连续学习 (CL) 方法进行了全面评估，发现了应用权重重要性方法时的特殊性，并提出了一种基于超级网络的正则化方法，有效解决了 RNNs 上的连续学习问题。

    Jun, 2020

  • 权重插值的持续学习

    该研究提出了一种利用权重融合方法的持续学习新方法，通过在每个新任务之后插值旧模型和新模型的权重，将两个模型合并，以便探索新概念到来后出现的局部最小值。实验结果表明，提出的权重融合方法明显改善了最先进的经验重放算法的性能。

    Apr, 2024

  • 自适应权重巩固在连续学习中的应用

    我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

    Jul, 2023

  • 自适应权重下的持续学习（CLAW）

    引言一个新的叫做 Continual Learning with Adaptive Weights (CLAW) 的做法，基于概率建模和变分推理来解决深度学习中连续学习的问题。实验表明，在分类准确率和解决 Catastrophic Forgetting 两个方面，CLAW 在六个项目中均取得了最先进的表现。

    Nov, 2019

  • 基于部分超网络的持续学习

    本研究提出了部分权重生成的超网络，针对连续学习中忘记问题进行了实验，发现与激活重演方法相比，部分超网络保持了先前经验的准确性，并提供了计算和最终测试准确性之间有效的平衡。

    Jun, 2023

  • 加权合奏模型是强大的持续学习者

    在这项研究中，我们研究了增量学习（CL）的问题，其目标是在一系列任务中学习模型，使得先前任务的数据在学习当前任务数据时不可用。我们提出了一种称为 Continual Model Averaging（或 CoMA）的加权集成模型，它在保持稳定性的同时，通过利用可塑性，在当前任务上达到高准确性。我们还提出了一种改进的 CoMA 变体，称为 Continual Fisher-weighted Model Averaging（或 CoFiMA），通过利用模型权重的 Fisher 信息，有选择地对加权集合中的每个参数进行加权。这两种变体概念简单、易于实现，并在多个标准 CL 基准测试中实现了最先进的性能。

    Dec, 2023

  • 超网络的持续学习

    本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

    Jun, 2019

  • 通过谱正则化实现持续学习

    神经网络的塑性缺失意味着在学习过程中网络训练变得更加困难。我们通过改进初始化技术、提出新的正则化策略以及保持梯度多样性来改善持续学习，并证明这些替代技术在不同的监督学习任务和模型结构上能够提高持续学习性能。

    Jun, 2024

  • StackNet: 续学习的参数堆叠

    本文提出了一种连续学习方法，通过堆叠参数实现对额外任务的学习并保留先前任务的性能，其中 StackNet 保证先前学习任务的性能不降低，而索引模块则表现出在找到输入样本的来源时的高置信度。与 PackNet 相比，该方法竞争力强且高度直观。

    Sep, 2018

  • 用于分析持续学习者的新度量标准

    在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

    Sep, 2023