论文提出了一种在线深度学习框架，使用新提出的 Hedge Backpropagation 方法，实现了对来自稳态和概念漂移情况下的大规模数据集进行自适应深度的 DNN 模型学习。

Nov, 2017

通过在线级联学习，我们提出了一种学习级联的方法来应对大规模语言模型推理的高计算成本问题，通过确定适用的模型以及推迟策略，可以将推理成本降低至 90%，并保持与大规模语言模型相当的准确性，凸显其在流处理中的有效性和适应性。

Feb, 2024

本文提出了 OLD^3S 框架，实现在线学习的高效处理，针对在不断更新的特征空间上进行的数据流的学习问题。通过建立新旧特征空间之间的关系，发现一个共享的潜在子空间以总结旧和新特征空间的信息，构建中间特征映射关系，从而将模型容量作为可学习的语义，以在线方式在模型深度和参数之间达到最优平衡。

Apr, 2022

本文旨在开发一种方法，从传入的数据流中使用深度神经网络模型进行连续的在线学习，使用随机梯度下降算法来更新模型参数，并使用先验的中餐馆过程的期望最大化算法来开发和维护一种混合模型来处理非平稳任务分布。我们将元学习应用于基于模型的强化学习，以适应预测模型关键控制任务中的连续快速自适应。

Dec, 2018

机器学习算法在当今世界中变得不可或缺，支持和加速我们根据手头数据做出决策的方式。本文回顾了在 ECML PKDD 2023 上举办的我们的在线深度学习机会与挑战教程，并简要概述了在在线学习环境中应用神经网络的机会和潜在风险，其中使用了 River 和 Deep-River 框架。

May, 2024

该研究提出了一种综合了元学习和在线学习范式的在线元学习模型，运用改进后的 MAML 算法，实现连续终身学习，实验结果表明该算法明显优于传统的在线学习方法。

Feb, 2019

在线连续学习中引入多层在线顺序专家 (Multi-level Online Sequential Experts, MOSE) 方法，通过多层监督和反向自蒸馏，培养模型为堆叠子专家，以实现学习新样本和保留过去知识的显著效果，大大提升 OCL 性能。

Mar, 2024

DELTA 是一种增强学习表示、解决长尾在线连续学习中类别不平衡问题的分离式学习方法，通过适应性有监督对比学习吸引相似样本和排斥不相似（非类内）样本，平衡训练期间的梯度并通过等化损失显著提升学习结果，并成功缓解了灾难性遗忘，扩展了增量学习的能力，超越了现有的 OCL 方法，对实际应用具有重大的潜在价值。

Apr, 2024

本研究通过利用多层网络中的独立递归模块，提出了一种可行的高性能在线学习算法，能够有效地解决递归神经网络中长期信用分配的问题，并通过在合成记忆问题和长距离竞技场基准测试中的表现明确了该算法的有效性，为大脑学习和神经计算提供了新的思路。

May, 2023

本文证明在线学习算法在延迟更新的情况下收敛良好，从而利用现代多核架构实现并行在线学习。

Nov, 2009