在当前深度学习时代，为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象，我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力，在我们的新颖元持续学习框架中，持续学习仅在统计模型中进行，而神经网络在原始数据和统计模型之间进行元学习，由于神经网络在持续学习过程中保持不变，它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能，而且具有出色的可伸缩性，由于我们的方法与领域和模型无关，因此可以应用于各种问题，并与现有模型架构轻松集成。
May, 2024
一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。
Jul, 2018
这篇论文介绍了一种新的 Bayesian 衍生连续学习损失函数，该函数不仅仅依赖于早期任务的后验分布，而是通过改变似然项自适应地调整模型，并将先验和似然项结合在一个框架下。
Feb, 2019
通过在固定特征提取器上建立贝叶斯生成模型，该研究提出了一种解决深度学习中灾难性遗忘问题的方法，并在多个医学和自然图像分类任务上表现出优异的表现。
Apr, 2022
本文介绍了一种基于贝叶斯概率论的深度学习方法，并应用于 Airbnb 的国际订房预测，结果表明深度学习对于高维数据预测有较好的表现。
Jun, 2017
本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。
Apr, 2021
本研究利用自然梯度变分推理方法对深度神经网络进行实用性的训练，并通过批归一化、数据扩充和分布式训练等技术获得类似于 Adam 优化器的性能，即使在 ImageNet 等大型数据集上也是如此。此外，本研究验证了使用贝叶斯原理的好处：预测概率被很好地校准，超出分布数据的不确定性得到改善，并且持续学习性能得到提高。该研究旨在实现实用性的深度学习，并同时保留贝叶斯原理的好处。最后提供了一个 PyTorch 的实现优化器。
Jun, 2019
本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。
Jun, 2015
提出了一种新颖的连续元学习方法，使用贝叶斯图神经网络 (CML-BGNN) 将元学习数学公式化为一系列任务的连续学习，在图形上保留任务内部和任务之间的相关性，利用 Amortized inference networks 解决了图形初始化的拓扑不确定性，提高了 minImageNet 5-way 1-shot 分类任务的分类性能。
Nov, 2019
针对新数据到来时重训练深度神经网络通常具有计算成本高的问题，因此本文提出了基于 Monte-Carlo 采样和最后一层 Laplace 逼近的贝叶斯更新方法，用于不同类型的贝叶斯神经网络，即 Dropout，Ensemble 和 SNGP，大规模评估研究表明该更新结合 SNGP 是昂贵重新训练的快速而有竞争力的替代方案。同时，将其用于不同顺序查询策略的精选性能的改进，以演示其在主动学习中的应用。
Oct, 2022