Jan, 2023

连续学习的序列贝叶斯推理

PDF
TL;DR本研究通过使用 Hamiltonian Monte Carlo（HMC）来执行连续贝叶斯推理，并通过其样本拟合密度估计器将后验作为新任务的先验进行传播，从而检验了访问真实后验能否保证预防神经网络中的灾难性遗忘，并发现这种方法无法预防灾难性遗忘，说明进行神经网络中的顺序贝叶斯推理的困难性。因此，提出了一种概率连续学习生成过程的贝叶斯模型，而非依赖于神经网络权重的顺序贝叶斯推理。此外，还提出了一个名为原型贝叶斯连续学习的简单基线，可用于类增量连续学习视觉基准，与最先进的贝叶斯连续学习方法相竞争。
sequential bayesian inferencecatastrophic forgettingneural networkscontinual learningdensity estimator
发现论文，激发创造
  • 学习贝叶斯原理的持续学习

    在当前深度学习时代，为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象，我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力，在我们的新颖元持续学习框架中，持续学习仅在统计模型中进行，而神经网络在原始数据和统计模型之间进行元学习，由于神经网络在持续学习过程中保持不变，它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能，而且具有出色的可伸缩性，由于我们的方法与领域和模型无关，因此可以应用于各种问题，并与现有模型架构轻松集成。

    May, 2024

  • 连续学习的统一贝叶斯视角

    这篇论文介绍了一种新的 Bayesian 衍生连续学习损失函数，该函数不仅仅依赖于早期任务的后验分布，而是通过改变似然项自适应地调整模型，并将先验和似然项结合在一个框架下。

    Feb, 2019

  • 后验元重放在连续学习中的应用

    该研究针对不具有独立同分布观测的连续学习提出了贝叶斯学习的替代方案，即基于概率任务条件化超网络的后验元回放方法，其在标准基准测试中比现有的贝叶斯学习方法表现更好，发现任务推断是其主要限制因素，这一限制有多个原因，与考虑的序列设置无关，为连续学习的进一步发展开辟了新的道路。

    Mar, 2021

  • 从过去学习：基于贝叶斯图建模的持续元学习

    提出了一种新颖的连续元学习方法，使用贝叶斯图神经网络 (CML-BGNN) 将元学习数学公式化为一系列任务的连续学习，在图形上保留任务内部和任务之间的相关性，利用 Amortized inference networks 解决了图形初始化的拓扑不确定性，提高了 minImageNet 5-way 1-shot 分类任务的分类性能。

    Nov, 2019

  • 利用自然梯度和斯坦梯度促进贝叶斯持续学习

    本文介绍如何通过使用自然梯度和斯坦梯度，从后验分布和 coresets 两种方式中学习先前任务的知识，帮助贝叶斯连续学习。

    Apr, 2019

  • 基于贝叶斯神经网络的不确定性引导连续学习

    本文提出了基于不确定性引导的连续贝叶斯神经网络（UCB）来解决连续学习中的分类问题，从而避免灾难性遗忘。我们在不同的物体分类数据集上评估了 UCB 方法的性能，并报告了优秀的性能表现。

    Jun, 2019

  • 利用生成模型进行持续分类学习

    本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现 catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。

    Oct, 2018

  • 关于自适应方法在连续学习中的收敛性

    该论文介绍了对于连续学习中的收敛性分析，提出了一种适应性方法用于非凸连续学习，该方法调整先前和当前任务的梯度的步长，以达到与 SGD 方法相同的收敛速度，并且在减轻每次迭代的灾难性遗忘项的情况下，改进了连续学习在几个图像分类任务中的性能。

    Apr, 2024

  • 深度神经网络的贝叶斯增量学习

    本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法，使用贝叶斯方法更新后验概率，与传统方法相比实验表明可以取得更好的效果。

    Feb, 2018

  • 基于固定预训练特征提取器的贝叶斯模型的持续学习

    通过在固定特征提取器上建立贝叶斯生成模型，该研究提出了一种解决深度学习中灾难性遗忘问题的方法，并在多个医学和自然图像分类任务上表现出优异的表现。

    Apr, 2022