偶然输入条件下的在线学习：综合评述与分析
通过基本理念和关键原则的系统回顾以及对不同算法和技术的适当分类，此调查旨在提供对在线机器学习文献的全面调查。总体而言，现有的在线学习作品可以根据学习类型和反馈信息的形式分为三个主要类别：（i）始终可用全反馈信息的监督式在线学习，（ii）具有有限反馈的在线学习，以及（iii）无反馈可用的无监督在线学习。
Feb, 2018
在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。
Aug, 2023
该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。
Aug, 2021
本文从控制理论角度研究了在线学习中攻击者可以利用教师 - 学生设置扰动数据标签来操纵学习动态的情境，通过考虑不同的攻击策略并获取简单线性学习者的稳态的分析结果得出，当攻击强度超过关键阈值时，学习者准确度会出现不连续转变的结论，并利用真实数据对具有复杂架构的学习器进行了实证攻击，证实了理论分析中的洞见，表明贪婪攻击特别是在数据流程以小批量形式时可以非常有效。
May, 2023
机器学习在系统理论的视角下对在线学习的建模存在不完善之处，本文提出了一种基于系统设计的在线学习框架，包括在线学习的新定义和关键设计参数的识别，以及系统结构和系统行为的划分。同时，通过以医疗保健提供者欺诈检测为案例研究，将讨论与实际在线学习挑战相结合。
Apr, 2024
本文提出了一种基于稀疏机制变化假设的在线学习算法，以实现模型的公平性，并引入长期公平约束的惩罚来评估生成的模型参数序列。在真实世界数据集上的实证评估证明了该方法在模型准确性和公平性方面的先进性。
May, 2023
本文针对统计学习进行了概述，然后对鲁棒的流式技术和挑战进行了调查，并通过几个严格的结果证明了我们在整个过程中激发并暗示的关系。此外，我们将通常不相关的定理统一到一个共享的框架和符号中，以阐明我们所发现的深层次联系。我们希望通过从一个共享的视角探索这些结果，已经意识到存在的技术关联，能够启发两个领域的研究，并激发新的、以前未被考虑的研究方向。
Dec, 2023
提出了一种在线哈希模型来适应流数据的在线学习，并通过衡量两个数据样本之间在汉明空间中的相似损失来导出结构化哈希模型以被被被优化，该工作对所提出的在线哈希模型累积损失的上界进行了理论分析，并将在线哈希从单一模型扩展到多模型在线哈希，通过在多个大规模数据集上的大量实验验证了所提出的在线哈希模型的竞争效率和效果而言，相比相关的哈希方法。
Apr, 2017
本文研究一种在线多类分类变体，在这种模型中，学习器预测一个单一标签，但接收一个标签的集合作为反馈，我们证明在这种情况下，确定性和随机化的在线可学习性不等价，并且给出两个新的组合维度，称为集合维度和度量破灭维度，分别紧密描述了实现情况下的确定性和随机化的在线可学习性，此外，我们还展示了度量破碎维度紧密描述了模糊情况下的在线可学习性，最后，我们展示了在线多标签排名和在线多标签分类是我们提出的在线学习框架的具体实例。
Jun, 2023