跨类别分布偏移对连续学习中遗忘的影响

Jun, 2023

跨类别分布偏移对连续学习中遗忘的影响

Out-of-distribution forgetting: vulnerability of continual learning to intra-class distribution shift

Liangxuan Guo, Yang Chen, Shan Yu

TL;DR本文发现连续学习（CL）中的一种特殊的灾难性遗忘 —— 分布偏移遗忘（OODF），特别影响 CL 方法对类别的识别准确度，并强调开发克服 OODF 风险的方法是非常重要的。

Abstract

continual learning (CL) is an important technique to allow artificial neural networks to work in open environments. CL enables a system to learn new tasks without severe interference to its performance on old tasks, i.e., overcome the problems of →

continual learning out-of-distribution forgetting neural networks catastrophic forgetting image classification

发现论文，激发创造

元外推学习用于持续自适应异常检测

我们提出了一种新颖且更现实的设置，称为连续自适应离群分布检测（CAOOD），旨在开发一种能够适应动态和迅速适应新到达分布的离群分布检测模型，并且在部署期间具有不足的 ID 样本。通过设计学习和适应图表，我们开发了元离群学习（MOL），在训练过程中学习到了一个良好初始化的离群分布检测模型。在测试过程中，MOL 通过少量适应快速调整到新的分布，从而确保在不断变化的分布上具有离群分布检测性能。对几个离群分布基准测试的广泛实验证明了我们方法在保持 ID 分类准确性和离群分布检测性能方面的有效性。

Sep, 2023

持续证据深度学习用于外部分布检测

该研究论文提出了一种将证据深度学习方法与持续学习框架相结合的方法，能够同时进行增量对象分类和越界检测，在 CIFAR-100 数据集上的实验结果显示，该方法在对象分类和越界检测方面表现出色。

Sep, 2023

面向外部分布泛化：一项调查

该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024

克服在线连续学习中的领域漂移

本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

May, 2024

类别相关性学习用于外部分布检测

本文介绍了一种针对 out-of-distribution（OOD）检测的创新类相关性学习方法，该方法在 OOD 管道中策略性地利用了类间关系，显著增强了 OOD 检测能力。在包括通用图像分类数据集（近 OOD 和远 OOD 数据集）的多样数据集上进行的大量实验表明，我们的方法在 OOD 检测方面优于现有技术。

Sep, 2023

基于分布外重放的连续学习多头模型

本文提出了一种基于 Transformer 网络的多头模型，使用类特定的分类器来解决类不断增加的连续学习任务，同时支持不同类别数据的 Out-of-Distribution 检测，实验结果优于现有技术。

Aug, 2022

改进的外部分布检测对比训练

本文介绍了一种利用对比性训练来提高机器学习系统检测异常数据输入的方法，通过引入和使用混淆对数概率得分来量化数据集的内离散度，作者证明了这种方法在 “近 OOD” 类的性能较先前方法有所提高。

Jul, 2020

通过在线差异距离学习实现无任务持续学习

本文提出了一种新的理论分析框架，给出了基于任务自由连续学习中访问样本与整个信息之间差异距离的归纳界限，并提出了使用动态组件扩展机制的新方法 - ODDL，以保证具有最佳性能的紧凑网络结构，同时提出了一种基于差异度量的样本选择方法，通过提高性能证明了该方法的卓越表现。

Oct, 2022

OOD 感知的有监督对比学习

使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

Oct, 2023