子空间蒸馏的持续学习

Jul, 2023

Subspace Distillation for Continual Learning

Kaushik Roy, Christian Simon, Peyman Moghadam, Mehrtash Harandi

TL;DR持续学习中保护之前学习到的知识，同时学习新任务的最终目标。为了减轻对先前知识的遗忘，我们提出了一种新的知识蒸馏技术，它考虑了神经网络的潜在 / 输出空间的流形结构，在学习新任务时将数据流形近似为一阶，并利用线性子空间来建模结构并保持神经网络的知识，从而降低持续学习中的灾难性遗忘。我们还讨论并展示了如何采用我们提出的方法来解决分类和分割问题。在实证上，我们观察到我们提出的方法在包括 Pascal VOC 和 Tiny-Imagenet 在内的几个具有挑战性的数据集上优于各种连续学习方法。此外，我们展示了如何将所提出的方法与现有的学习方法无缝结合，以提高它们的性能。本文的代码将在此 https URL 处提供。

Abstract

An ultimate objective in continual learning is to preserve knowledge learned in preceding tasks while learning new tasks. To mitigate forgetting prior knowledge, we propose a novel knowledge distillation techniqu

continual learning knowledge distillation manifold structure linear subspaces catastrophic forgetting

发现论文，激发创造

稀疏解耦潜在表示的斥力吸引驱动下的不断语义分割

本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在 Pascal VOC2012 和 ADE20K 数据集上取得了显著的准确性，远超过现有技术。

Mar, 2021

低秩正交子空间下的持续学习

通过在不同的向量子空间中学习任务并在其中保持正交性来最小化干扰，提出了一种新的连续学习的方法，并证明了其对标准分类基准测试的优越性能。

Oct, 2020

分离记忆编辑与模型更新的解耦继续学习

机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

Dec, 2023

关于增量学习的测地路径学习

本研究通过构建低维流形来最小化当前和之前的网络响应之间的差异，从而有效地防止神经网络进行连续学习时的 “灾难性遗忘” 现象，这是一种能够高效和稳健地从连续经验中学习的重要过程。

Apr, 2021

利普希茨连续性引导的知识蒸馏

提出了一种基于 Lipschitz continuity 的知识蒸馏框架，通过最小化两个神经网络的 Lipschitz 常数之间的距离，从而准确地蒸馏知识并实现了性能的提高。在多个知识蒸馏任务上的实验结果表明，该方法优于其他基准方法，并在 CIFAR-100、ImageNet 和 PASCAL VOC 数据集上取得了良好的表现。

Aug, 2021

构建一个用于可扩展连续学习的策略子空间

本文介绍了一种基于 Continual Subspace of Policies 的自适应增量学习方法，使得机器人能够不断学习适应一系列任务，避免过多的模型大小或随着任务数量的增加导致性能下降的问题。实验表明该方法有效，没有出现遗忘现象，并且在 Brax（运动）和 Continual World（操作）两个领域的多个任务上表现较好。

Nov, 2022

对比有监督蒸馏用于连续表示学习

本文提出了一种名为对比监督蒸馏（CSD）的训练过程，用于解决连续表征学习中的灾难性遗忘问题，如何通过利用蒸馏设置中的标签信息来降低特征遗忘并学习有区别力的特征，从而使学生模型从教师模型中进行对比学习，在视觉检索任务中缓解灾难性遗忘，且表现优于当前的最新方法。

May, 2022

约束潜空间的保留知识神经网络连续学习

为了解决在数据访问受限的情况下学习模型的问题，本文提出了一种简单易实现的方法，通过建模高层次特征空间和输出空间来相互信息，并在训练期间约束特征向量位于建模空间中，以保护已学到的知识，并在 CIFAR-10/100 数据集和胸透数据集上验证了其有效性。

May, 2018

语义分割中的增量学习知识蒸馏

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

适应性特征融合的知识蒸馏分类增量学习

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022