研究了如何针对来自未知元分布的任务类别推断出学习算法，并提出了学习正半定矩阵参数化的岭回归算法，通过应用随机策略来降低岭回归引入的经验错误，以实现在线学习，提高模型性能和泛化性能。

Mar, 2018

本文提出了一种基于图神经网络的推荐模型增量学习框架 GraphSAIL，可以显著减少计算时间并提供更频繁的推荐更新，同时保留用户 / 物品的长期偏好，并通过在训练期间显式地保留每个节点的局部和全局结构以及自我信息来实施图结构保护策略。在两个公共数据集上的实验表明，相对于其他增量学习技术，GraphSAIL 可以显著提高推荐系统的性能。此外，在大规模工业数据集上，该框架也得到了验证。

Aug, 2020

本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

May, 2023

本文提出了一种增量式学习新任务的框架 Learn to Bind and Grow，该框架通过绑定与类似任务的层或扩展更可能发生冲突的层来学习新任务的神经网络架构；该框架通过一种全新而可解释的参数化方法，使用贝叶斯优化来计算全局最优架构，并在连续学习基准测试上展示了可比较的性能。

Nov, 2020

本论文提出了一种结构学习策略和参数学习策略相结合的图像持续学习方法，并采用强化学习驱动结构学习策略，Dark Experience 回放的概念来应对灾难性遗忘问题。在图持续学习基准问题中得到了验证，并在两个设置中都表现出比最近发布的作品更好的性能。

Sep, 2022

研究了一种基于简单有效的调整网络（SAN）的增量学习方法，达到了接近最先进的性能，使用最小的架构大小，而不需要使用先前最先进方法中的内存实例，对 3D 点云对象（ModelNet40）和 2D 图像（CIFAR10，CIFAR100，MiniImageNet，MNIST，PermutedMNIST，notMNIST，SVHN 和 FashionMNIST）识别任务进行了研究，并为公平比较现有方法建立了强有力的基准结果。在 2D 和 3D 领域，我们还观察到 SAN 在任务增量设置中基本不受不同任务顺序的影响。

May, 2022

本文提出一种称为 Shift-Robust GNN（SR-GNN）的方法，用于解决在真实世界场景下，由于数据获取昂贵和天生偏见而导致的数据采样不均衡问题，SR-GNN 可以适应节点标签采集偏差和数据分布转移等差异，从而实现半监督学习任务中的更好泛化效果。在多个实验中，SR-GNN 在常见 GNN 基准数据集上的表现优于其他 GNN 基线，并成功消除了偏差训练数据引入的至少～40% 的负面影响。

Aug, 2021

该研究论文介绍了一种新的图数据流分类方法，能在节点和边随时间变化的情况下进行模型适应的增量学习，选择每个类别的代表图并创建嵌入表示，同时通过基于损失的概念漂移检测机制来重新计算图的代表图。

Apr, 2024

该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

Nov, 2020

该研究提出了渐进式低秩学习技术，通过一个新的训练算法 InRank 来改进神经网络的训练，使得神经网络参数化后低秩化，以此提高计算效率并在 WikiText-103 上训练 GPT-Medium 模型时分别实现了 20% 的减少训练时间和 37% 的减少内存使用，同时保持了与全秩情况下相似的预测表现。

Jun, 2023