本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。

Jun, 2021

通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

May, 2024

本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

Jan, 2021

本文提出了一种名为对比监督蒸馏（CSD）的训练过程，用于解决连续表征学习中的灾难性遗忘问题，如何通过利用蒸馏设置中的标签信息来降低特征遗忘并学习有区别力的特征，从而使学生模型从教师模型中进行对比学习，在视觉检索任务中缓解灾难性遗忘，且表现优于当前的最新方法。

May, 2022

本研究采用基于回放的持续文本分类方法 RepCL，该方法利用对比和生成表示学习目标来捕获更多与类别相关的特征，并引入对抗式回放策略以缓解回放的过拟合问题。实验结果表明，RepCL 能够有效缓解遗忘，并在三个文本分类任务中取得了最先进的性能。

May, 2023

近期的数据驱动任务导向对话系统在增量学习方面存在计算约束和耗时的问题，而连续学习试图通过避免密集的预训练来解决此问题，但它面临的问题是灾难性遗忘。本文提出了 Dirichlet 连续学习（DCL），这是一种新颖的基于生成的排练策略，用于连续学习。与传统上在条件变分自编码器（CVAE）中使用的高斯潜变量不同，DCL 利用 Dirichlet 分布的灵活性和多功能性来建模潜在先验变量。这使得它能够有效地捕捉先前任务的句子级特征并有效地指导伪样本的生成。此外，我们介绍了 Jensen-Shannon 知识蒸馏（JSKD），一种强大的基于逻辑的知识蒸馏方法，在伪样本生成期间增强了知识传递。我们的实验证实了我们方法在意图检测和槽填充任务上的有效性，并且胜过了最先进的方法。

Sep, 2023

研究了连续关系抽取中存在的历史信息遗忘问题，提出了一种基于对比学习和知识蒸馏的持续关系表示学习方法，能够有效地避免历史信息遗忘，并在 FewRel 和 TACRED 数据集上进行了大量实验，相比于现有基线算法，提出的方法表现更具鲁棒性。

Mar, 2022

该论文介绍了原型对比学习（PCL）这一无监督表示学习方法，PCL 不仅学习用于实例区分的低级特征，更重要的是它隐含地将数据的语义结构编码到了学习的嵌入空间中，该方法通过增加原型作为潜在变量来寻找最大似然估计，提出了一种基于对比学习的通用损失函数 ProtoNCE loss，此方法在多个基准测试中的表现均优于当前最先进的基于实例对比学习方法，在低资源转移学习方面有了显著的改进。

May, 2020

通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

Nov, 2023

我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

May, 2024