Dec, 2023

在线持续学习的自适应快速修正偏差

PDF
TL;DRDropTop 提出了一种新颖的框架，可以抑制在线持续学习中的快捷方式偏差，并能够适应不断变化的环境所引起的不同程度的快捷方式偏差。通过观察到的快捷方式偏差的高关注特性，高度激活的特征被视为去偏差的候选项。此外，通过解决在线环境中缺乏先前的知识和辅助数据的限制，两种新技术 —— 特征图融合和自适应强度调整 —— 使我们能够自动确定适当的级别和候选快捷方式特征的比例要丢弃。在五个基准数据集上进行的大量实验证明，与各种在线持续学习算法相结合，DropTop 的平均准确率可以提高高达 10.4％，遗忘率减少高达 63.2％。
droptoponline continual learningshortcut biasfeature map fusionadaptive intensity shifting
发现论文，激发创造
  • 公正视觉识别的良性快捷方式：通过快捷特征介入进行去偏

    机器学习模型中，为了解决与种族和性别等社会属性相关的公平性风险问题，我们提出了一种名为 "Shortcut Debiasing" 的方法，通过设计控制性的替代特征来代替偏见特征，在训练阶段利用这些特征来提高目标任务的学习，并在推断阶段通过干预来消除这些特征，从而在准确性和公平性方面实现了显著改善。

    Aug, 2023

  • 在线原型学习用于在线连续学习

    在线连续学习中，通过在单通数据流中不断学习新数据并减轻灾难性遗忘的问题，本文分析了在新的学习任务中为何在线学习模型无法很好地泛化的快捷学习，然后提出了在线原型学习框架（OnPro），通过在线原型平衡和自适应原型反馈机制，达到良好分离所有已见类别、学习新类别的平衡状态，并在广泛使用的基准数据集上通过实验证明了 OnPro 相对于最先进的基准方法的卓越性能。

    Aug, 2023

  • 应对流行度分布变动的稳健协同过滤

    该研究提出了一种简单而有效的消除偏见策略 PopGo，该策略通过量化和减少基于流行度表示的互动式快捷方式的程度，而无需对测试数据进行任何假设，在两个高性能的协同过滤模型（MF、LightGCN）上，PopGo 在四个基准数据集上显著超越了现有的消除偏见策略（例如 DICE、MACR）。

    Oct, 2023

  • 一个不可思议的先验来减少依赖快捷方式

    研究了深度网络在 o.o.d. 样本下的推广问题，提出了使用浅层结构的低容量网络侦测卷积神经网络中的 superficial features，从而避免过度依赖 “捷径” 解决问题，并鼓励深层次学习。实验证明，这种两阶段的 LCN-HCN 方法有助于减少对捷径的依赖和促进 o.o.d. 推广。

    Feb, 2021

  • 超越捷径：通过神经坍缩的视角进行无偏学习

    本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。

    May, 2024

  • DELTA：解耦长尾在线持续学习

    DELTA 是一种增强学习表示、解决长尾在线连续学习中类别不平衡问题的分离式学习方法，通过适应性有监督对比学习吸引相似样本和排斥不相似（非类内）样本，平衡训练期间的梯度并通过等化损失显著提升学习结果，并成功缓解了灾难性遗忘，扩展了增量学习的能力，超越了现有的 OCL 方法，对实际应用具有重大的潜在价值。

    Apr, 2024

  • 无存储约束的在线持续学习

    本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

    May, 2023

  • 克服在线连续学习中的领域漂移

    本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

    May, 2024

  • 极限内存约束下的在线连续学习

    本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

    Aug, 2020

  • 在线持续学习用于室内物体识别的强健性

    家用机器人上安装的视觉系统需要与不可见的类别在多变的环境中进行交互。我们提出了 RobOCLe 作为一种少样本在线持续学习模型，通过构建富化特征空间和计算样本的高阶统计矩来改善连续学习模型的鲁棒性。

    Jul, 2023