ICCVAug, 2019

使用单侧过度估计的不对称损失逼近进行持续学习

PDF
TL;DR本文提出了一种利用非对称二次函数逼近真实损失函数的方法来解决深度神经网络中的灾难性遗忘问题和大规模任务可扩展性问题的连续学习框架，并通过多个挑战性基准数据集的实验结果表明该方法优于现有方法，且可达到接近上限性能。
catastrophic forgettingcontinual learningneural networksasymmetric quadratic functiontask scalability
发现论文，激发创造
  • 基于正则化的持续学习的优化和泛化：一种损失逼近的视角

    本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

    Jun, 2020

  • 持续学习中参数隔离的保证

    深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

    Oct, 2023

  • 连续学习的两个互补视角：不仅问什么要优化，还要问怎么优化

    连续学习中，我们提出应该同时关注优化目标和优化方式，结合重放逼近联合目标和梯度投影优化方法，以减轻稳定性差距、增加学习效率和改善最终学习结果。

    Nov, 2023

  • 解决灾难性遗忘的在线结构拉普拉斯近似

    介绍了 Kronecker 因式分解的在线 Laplace 近似方法，用于克服神经网络中的灾难性遗忘问题，该方法建立在贝叶斯在线学习框架的基础上，以高斯分布递归逼近后验概率，通过计算模牛顿法到达二阶导近似，利用 K-FAC 近似方法实现可扩展性，50 个 MNIST 图像数字识别测试中达到 90% 的准确率，明显优于其他相关方法。

    May, 2018

  • 单模型之外的持续学习

    通过实验验证，本研究探讨了在连续学习过程中使用集成模型的优缺点，提出了一个计算简单、性能优良的算法来解决集成模型带来的高计算成本问题，并解决了连续学习中的遗忘问题。

    Feb, 2022

  • 学会成长：应对灾难性遗忘的连续结构学习框架

    本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于 MNIST、CIFAR100 和 Visual Domain Decathlon 数据集上的所有基线。

    Mar, 2019

  • 基于中心损失的持续学习正则化

    我们提出采用中心损失作为正则化惩罚来保留旧任务的记忆，从而使神经网络能够在学习新任务的同时保持对旧任务的高性能表现。

    Oct, 2021

  • 神经机器翻译的平衡训练：超越持续学习的灾难性遗忘

    针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。

    Mar, 2022

  • 面向终身学习训练循环神经网络

    本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。

    Nov, 2018

  • 诊断灾难：连续学习中的大部分准确性损失可归因于读出失调

    在这篇论文中，我们研究了导致人工神经网络在变化的数据分布上训练后旧任务性能迅速下降的表征性变化，并确定了解释这一现象的三个不同过程。最主要的成分是隐藏表征与输出层之间的不对齐，这种不对齐是由于在其他任务上的学习造成的，它导致内部表征发生位移。表征几何在这种不对齐下部分保留，并且只有一小部分信息是无法恢复的。所有类型的表征性变化与隐藏表征的维度成比例。这些洞见对需要不断更新的深度学习应用具有重要的意义，同时也对将人工神经网络模型与相对稳健的生物视觉对齐有帮助。

    Oct, 2023