Feb, 2018

旋转您的网络：更好的权重合并和更少的灾难性遗忘

PDF
TL;DR通过重新参数化神经网络中的 Fisher 信息矩阵，结合 Elastic Weight Consolidation 技术，实现解决序列任务学习中的灾难性遗忘问题，并在 MNIST、CIFAR-100、CUB-200 和 Stanford-40 数据集上进行实验证明，我们的方法明显改善了标准 Elastic Weight Consolidation 的结果，在不遗忘的连续任务学习中达到了同等竞争水平。
catastrophic forgettingsequential task learningelastic weight consolidationfisher information matrixlifelong learning
发现论文，激发创造
  • 医学影像中的持续学习

    本文研究使用神经网络对大脑 MRI 进行两个分割任务的不断学习，通过探索弹性权重共享的新方法 去解决因学习新任务而导致的对第一个任务的灾难性遗忘，实验表明该方法在挑战性的不断学习中具有应用前景。

    Nov, 2018

  • 循环权重巩固：解决串行联邦学习中的灾难性遗忘问题

    本文介绍了一种针对串行联邦学习的简单而强大的方法 —— 循环权重整合（Cyclical Weight Consolidation，CWC），通过使用一个整合矩阵来控制局部优化，防止显著权重的突变。该方法在各种非独立同分布（non-IID）的环境中减轻了原始串行联邦学习方法的波动性，并显著提升了收敛性能。改进后的性能要么与并行的基准性能相媲美，要么更好。

    May, 2024

  • 神经网络中应用参数重用克服灾难性遗忘

    本文提出了一种名为 AdaptCL 的自适应学习方法，该方法通过参数再利用和增长来克服灾难性遗忘，并允许积极的后向传递，同时不需要数据集标签。

    Jul, 2022

  • 解决灾难性遗忘的在线结构拉普拉斯近似

    介绍了 Kronecker 因式分解的在线 Laplace 近似方法，用于克服神经网络中的灾难性遗忘问题，该方法建立在贝叶斯在线学习框架的基础上，以高斯分布递归逼近后验概率，通过计算模牛顿法到达二阶导近似，利用 K-FAC 近似方法实现可扩展性，50 个 MNIST 图像数字识别测试中达到 90% 的准确率，明显优于其他相关方法。

    May, 2018

  • 权重插值的持续学习

    该研究提出了一种利用权重融合方法的持续学习新方法，通过在每个新任务之后插值旧模型和新模型的权重，将两个模型合并，以便探索新概念到来后出现的局部最小值。实验结果表明，提出的权重融合方法明显改善了最先进的经验重放算法的性能。

    Apr, 2024

  • 弹性权重巩固以获得更好的偏差接种

    使用 EWC 精细调优可以减轻训练数据集中的偏见，同时对于原始训练数据集的遗忘率较低。

    Apr, 2020

  • 学习低秩特征表示：在连续学习中更好地平衡稳定性和可塑性

    提出了一种名为 LRFR 的新型训练算法，通过在过去任务的特征表示矩阵的零空间中优化网络参数来保证稳定性，同时在训练各个任务时仅选择网络各层中的部分神经元来学习过去任务的特征表示矩阵以增加零空间维度，从而增强了网络参数设计时的可塑性，该方法在持续学习的基准数据集 CIFAR-100 和 TinyImageNet 上持续优于最先进的方法。

    Dec, 2023

  • 通过 HSIC-Bottleneck 正交化和等角嵌入实现持续学习饥饿规范

    通过层次参数覆盖和由此引起的决策边界畸变，该方法通过 HSIC-Bottleneck 正交化和 EquiAngular 嵌入实现非覆盖参数更新和旧任务与新任务之间的决策边界适应，从而在没有缓冲区的情况下实现了竞争性准确性表现。

    Jan, 2024

  • 关于正交性和学习具有长期依赖性的递归网络

    本文探讨了针对深度神经网络和循环神经网络中的梯度消失或梯度爆炸问题，使用正交矩阵作为约束条件以保持梯度范数，并且提出了一种使用矩阵分解和参数化策略的方法以控制反向传播期间所导致的扩张性。通过分析，本文发现硬正交矩阵约束会对收敛速度和模型性能产生负面影响。

    Jan, 2017

  • 过度参数化情况下随机正交转换任务的灾难性遗忘分析

    该研究从理论上和实验证明，过参数化可以在一定程度上改善神经网络模型在连续学习中遗忘前任务的性能表现。

    Jun, 2022