本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。

Jun, 2021

本文提出在线蒸馏过程中发生领域转移时容易出现的重要问题 —— 灾难性遗忘，针对这一问题，提出了一种基于 continual learning 方法的解决方案，我们将多种最先进的 continual learning 方法纳入在线蒸馏的上下文中，并以周期性领域转移实验结果为例进行了详细分析。我们的实验结果表明，该方法在提高在线蒸馏的鲁棒性和准确性方面具有有效性，并具有在视频监控或自动驾驶等领域的潜在应用。

Apr, 2023

基于对比学习的连续学习方法，该研究提出了基于重放缓冲区选择（RBS）的对比连续学习方法以确保知识的保留，并使用原型 - 实例关系蒸馏（PRD）损失来维护样本表示与原型之间的关系，实验证明该方法在在线环境中有效消除灾难性遗忘问题。

Mar, 2024

通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

May, 2024

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

在智能多媒体分析领域中，超细粒度视觉分类（Ultra-FGVC）在区分更大范畴内的复杂子范畴方面发挥着重要作用。本文提出 CSDNet，这是一个创新框架，通过有效探索对比学习和自我蒸馏来学习专为 Ultra-FGVC 任务设计的判别式表示。CSDNet 包括三个主要模块：子范畴特定的差异解析（SSDP）、动态差异学习（DDL）和子范畴特定的差异传递（SSDT），共同增强深度模型在实例、特征和对数预测层面上的泛化能力。实验结果表明，CSDNet 优于当前最先进的 Ultra-FGVC 方法，强调了其在解决 Ultra-FGVC 任务中的强大效力和适应性。

Nov, 2023

本文提出了一种新模型 SCKD，通过串行知识蒸馏来保留以前模型的先前知识，并通过伪样本进行对比学习，以保持不同关系样本的表示具有足够的可区分性，实现持续的少样本关系抽取任务，并在两个基准数据集上进行了验证。

May, 2023

本文提出了 DistillCSE 框架，该框架基于自学习范式和知识蒸馏实现对比学习。通过使用基础模型来提供额外的监督信号，DistillCSE 具有自我增强的特点，可以通过知识蒸馏学习到更强的模型。通过进一步的定量分析，本文发现标准知识蒸馏存在教师模型 logits 的相对大方差，从而导致了严重的过拟合问题。为了缓解高方差引发的问题，本文提出了两种简单而有效的解决方案：一种是 Group-P 混洗策略作为隐式正则化方式，另一种是平均来自多个教师组件的 logits。在标准基准测试上的实验证明了 DistillCSE 的优越性，超越了许多强基线方法，并获得了新的最先进表现。

Oct, 2023

通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

Nov, 2023

本研究提出一种基于对比关系的知识蒸馏方法 CRCD，通过建立标定点并计算学生和教师关系的差异，有效地将结构性知识从教师模型转移到学生模型中，从而同时蒸馏出样本表示和样本之间的关系。实验证明了该方法的有效性。

Mar, 2021