May, 2018

解决灾难性遗忘的在线结构拉普拉斯近似

HTML
PDF
TL;DR介绍了Kronecker因式分解的在线Laplace近似方法，用于克服神经网络中的灾难性遗忘问题，该方法建立在贝叶斯在线学习框架的基础上，以高斯分布递归逼近后验概率，通过计算模牛顿法到达二阶导近似，利用 K-FAC 近似方法实现可扩展性，50个MNIST图像数字识别测试中达到90%的准确率，明显优于其他相关方法。
发现论文，激发创造
  • 用 Kronecker 分解的近似曲率优化神经网络

    提出一种名为K-FAC的方法来近似神经网络中的自然梯度下降，该方法基于一种高效的逆近似方法来近似神经网络的Fisher信息矩阵，它既不是对角线矩阵也不是低秩矩阵，与先前提出的近似自然梯度/牛顿方法相比，K-FAC在高度随机的优化方案中的表现非常好。

    Mar, 2015

  • 学会成长：应对灾难性遗忘的连续结构学习框架

    本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于MNIST、CIFAR100和Visual Domain Decathlon数据集上的所有基线。

    Mar, 2019

  • 扩展 Kronecker 分解近似曲率的续学习

    提出了一种二次罚函数方法用于神经网络的不断学习，其中包含批量归一化层。通过考虑实例间的关系，扩展了K-FAC方法，以便在实际情况下正确逼近深度神经网络的Hessian矩阵。同时提出了一种权重合并和再参数化方法，并且对批归一化的统计参数进行了适当处理。实验结果表明，该方法在各项指标上均优于基准算法。

    Apr, 2020

  • 应对少样本问题中的灾难性遗忘

    引入一种贝叶斯在线元学习框架来解决少样本分类问题中的灾难性遗忘问题，并通过实验验证与各种基线方法相比可以有效地实现该目标。

    Apr, 2020

  • 使用固定点更新的在线变分贝叶斯进行任务无关的持续学习

    本文提出了 FO0-VB 算法来近似在线贝叶斯更新，以应对数据分布的非稳态性，以及在不使用外部存储器且只依靠现有体系结构的情况下，实现对不确定或未明确定义的任务边界的持续学习的优化，该方法在任务不可知场景下表现优异。

    Oct, 2020

  • 基于神经激活空间零维度的稀疏性和异构丢失对连续学习的影响

    本文提出了两种生物启发机制，基于稀疏性和异构dropout，显著提高了连续学习者在长时间序列任务中的表现，并在多项基准连续学习问题上展示了重大的性能提升。

    Mar, 2022

  • 在线拉普拉斯模型选择再探

    本文重新推导了在线 Laplace 方法，表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解，通过应用于UCI回归数据集，优化关键参数并防止过拟合，优于传统的早期停止方法。

    Jul, 2023

  • 变分密度传播持续学习

    深度神经网络在真实世界中经常面临着分布漂移、各种类型的噪声和概念目标的变化。本文提出了一个适应连续学习数据分布漂移的框架，通过贝叶斯推断中的不确定性量化来缓解灾难性遗忘问题。通过优化一个闭式ELBO目标，通过传播分布的前两个矩阵（均值和协方差）来近似预测分布，我们将灾难性遗忘问题降至最低。

    Aug, 2023

  • 持续学习中参数隔离的保证

    深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

    Oct, 2023

  • 贝叶斯深度学习中的无Hessian Laplace

    在该研究中，我们提出了一种利用拉普拉斯近似的替代框架，通过使用后验的曲率和网络预测来估计方差，既避免了计算和翻转黑塞矩阵的步骤，又能够在预训练网络中高效地进行。实验证明，相比于精确和近似黑塞矩阵，该方法表现相当，并具有良好的不确定性覆盖范围。

    Mar, 2024