该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

本文提出了一种深度连续学习算法 ADL，它采用灵活的结构，通过自构建网络结构从头开始构建网络。ADL 通过不同深度结构来解决灾难性遗忘问题，并提出了 NS 公式、DDS 和 MICI 方法来驱动隐藏节点增长和剪枝机制、检测数据流中的分布变化并消除冗余层。在九个常见的数据流问题上进行的测试表明，ADL 能够在维持网络结构自动构建的同时，比其他现有的连续学习方法更具实效性。

Oct, 2018

通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

Aug, 2023

本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。

Dec, 2014

该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

Nov, 2020

研究人类和人工神经网（ANNs）学习机制之间的差异，指出后者的 Catastrophic Forgetting 是一个重要难题。作者提出了一种动态阈值移动算法，能够成功消除这种偏差，并在 CIFAR100 和 MNIST 数据集上展示了接近最优的结果，该算法利用增量学习、知识蒸馏等解决了这个问题。

Jul, 2018

本文研究在训练阶段中的噪声对于人工神经网络算法准确率的影响，通过数值实验表明算法的准确率更多地取决于错误的位置而不是错误的百分比，并展示了在感知机、前馈神经网络和径向基函数神经网络中，对于相同的错误百分比，算法的准确率会显著变化，并且准确率与错误位置的关系与算法无关。然而，随着更复杂的算法，退化曲线的斜率逐渐降低。

May, 2020

本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法，使用贝叶斯方法更新后验概率，与传统方法相比实验表明可以取得更好的效果。

Feb, 2018

本文研究了基于图结构数据的递增学习问题，提出了一种名为结构转移风险缓解（SSRM）的正则化技术，用来解决非独立、非同分布特性所带来的问题，并通过实证研究验证了该方法在增量学习框架中的性能优越性。

Feb, 2024

提出了一种适应神经网络在测试时分布发生变化的方法，通过闭环系统和测试时反馈信号来在实时中进行网络的适应，该方法使用基于学习的函数来实现很好的效果，使适应比基准方法更加灵活和快捷。

Sep, 2023