本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中进行的评估表明，与现有方法相比，在各种网络架构上的准确性都有显着提高。

Jun, 2023

本研究提出了一种基于端到端 Transformer 与协同注意力门控视觉 - 语言嵌入的外科手术场景中可定位答案的视觉问答系统，该方法不需要通过检测模型进行特征提取，并建立在数据高效图像 Transformer 模块、并行分类器和检测器之上，该方法在公共手术视频实验上的结果表明了与现有技术的优越性。

Jul, 2023

模态感知特征蒸馏在多模态连续学习中表现出优于现有基准方法的结果，并强调了解决模态特定动态性的重要性以防止遗忘。

Jun, 2024

本文提出一种在机器人手术场景中定位特定手术区域的视觉问答系统，使用门控视觉语言嵌入（GVLE）和语言视觉变压器（LViT）来进行异构模态的融合和回答的预测，GVLE 在实现语言 - 视觉嵌入方面表现出优异的性能，并与现有基准相比速度更快，并通过添加检测头来实现本地化的回答预测。

May, 2023

基于深度神经网络的语义分割可提高机器人辅助手术中手术器械和组织的精确性。然而，在生物学学习中，深度神经网络无法随着时间的推移学习增量任务，表现出灾难性遗忘现象。为了解决这个问题，本研究开发了一种隐私保护的合成持续语义分割框架，通过合成背景和新器械来均衡地融合旧模型和持续学习模型，同时引入了多尺度特征蒸馏以保持语义对象之间的长短距离空间关系。

Feb, 2024

本文提出了一种名为对比监督蒸馏（CSD）的训练过程，用于解决连续表征学习中的灾难性遗忘问题，如何通过利用蒸馏设置中的标签信息来降低特征遗忘并学习有区别力的特征，从而使学生模型从教师模型中进行对比学习，在视觉检索任务中缓解灾难性遗忘，且表现优于当前的最新方法。

May, 2022

大规模视觉语言模型（VLMs）展示了对未见域数据具有强大的零样本泛化能力。然而，适应预训练的 VLMs 并执行一系列下游任务时，它们容易忘记以前学到的知识并降低其零样本分类能力。为解决这个问题，我们提出了一种独特的选择性双教师知识迁移框架，利用最新的精细调整和原始的预训练 VLMs 作为双教师来保留以前学到的知识和零样本能力。通过仅访问未标记的参考数据集，我们提出的框架通过测量双教师 VLMs 的特征差异来执行选择性知识蒸馏机制。因此，我们的选择性双教师知识蒸馏将缓解以前学到的知识的灾难性遗忘，同时保留预训练 VLMs 的零样本能力。通过对基准数据集进行大量实验，我们证明了我们的提出的框架对于防止灾难性遗忘和零样本退化的最新持续学习方法是有利的。

Mar, 2024

本文提出在线蒸馏过程中发生领域转移时容易出现的重要问题 —— 灾难性遗忘，针对这一问题，提出了一种基于 continual learning 方法的解决方案，我们将多种最先进的 continual learning 方法纳入在线蒸馏的上下文中，并以周期性领域转移实验结果为例进行了详细分析。我们的实验结果表明，该方法在提高在线蒸馏的鲁棒性和准确性方面具有有效性，并具有在视频监控或自动驾驶等领域的潜在应用。

Apr, 2023

通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

May, 2024

提出一种基于知识蒸馏方法的英语语言 - 视觉模型拓展到同等效果的多语种和混合编码模型的方法，其使用多个中间层来逐步提取知识，同时在 11 种不同语言设置下创建大规模的多语种和混合编码的 VQA 数据集。

Sep, 2021