CVPRJun, 2023

异质性持续学习

PDF
TL;DR本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中进行的评估表明，与现有方法相比，在各种网络架构上的准确性都有显着提高。
continual learningnetwork architecturesheterogeneous continual learningknowledge distillationquick deep inversion
发现论文，激发创造
  • 再探视觉问答机器人手术中连续学习的蒸馏

    通过开发非样本连续外科 VQLA 框架，我们在连续学习范式中探索和平衡深度神经网络的刚性 - 可塑性权衡，并提出了 RP-Dist 和 SH-Dist 来保留旧知识。在外科设置的三个公共数据集上建立了一个连续学习框架，通过广泛的实验证明我们的方法在连续外科 VQLA 上优于传统的连续学习方法。

    Jul, 2023

  • 多模态任务的动态 Transformer 架构

    我们提出了一种基于 Transformer 的持续学习框架 TAM-CL，用于学习涉及视觉和语言的多模态任务，并通过引入额外参数和知识蒸馏实现任务间的信息交流，以及解决灾难性遗忘问题。该方法在多种挑战性的多模态任务上达到了最先进的性能。

    Jan, 2024

  • 可证明的对比式继续学习

    通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

    May, 2024

  • 学习一种进化的混合模型用于任务自由的连续学习

    本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

    Jul, 2022

  • CQural: 基于卷积神经网络的混合架构用于量子连续机器学习

    本研究论文中，作者提出使用新型混合经典 - 量子神经网络模型可以避免神经网络在永久学习中的灾难性遗忘问题。同时，模型训练还可以得到更好的性能并学习到最重要的特征。在 MNIST 和 CIFAR-10 数据集上，实验结果表明混合神经网络在记住类特定特征方面优于传统的神经网络。

    May, 2023

  • 重访神经网络的持续学习：架构视角

    本文研究网路架构设计对连续学习的影响，以通过网络宽度、深度和组件等方面的系统性研究，提出了一种 CL 友好的网络架构设计方法，该方法在参数方面比传统的 CL 架构紧凑 86%，61% 和 97% 的参数，在 Class IL 和 Task IL 方面实现了最新的连续学习性能。

    Apr, 2024

  • 利用模块化网络与任务驱动 先验知识实现高效连续学习

    本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

    Dec, 2020

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024

  • 适应性特征融合的知识蒸馏分类增量学习

    本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

    Apr, 2022

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024