May, 2021

任务无关连续学习的编码器和集成方法

HTML
PDF
TL;DR使用对比自监督学习和集成模型的方法，构建一个架构，以有效地进行连续学习，同时避免灾难性遗忘，对多个基准测试问题进行评估并取得了优异的表现。
发现论文，激发创造
  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。

    Sep, 2019

  • 三值特征掩码:零遗忘的任务增量学习

    本文提出了一种基于三元掩码和任务特定功能归一化的持续学习方法，旨在避免灾难性遗忘、反向传递，并在不影响之前任务的情况下掌握新任务，该方法在减少内存开销的同时表现出优于现有方法的最新技术水平。

    Jan, 2020

  • 在线持续学习在图像分类中的实证研究

    该研究论述了在线持续学习图像分类问题，其中的任务可能包括新类别或数据非稳态。因为不同的实验设置以及不同的任务类别可能需要不同的方法，作者系统地比较了现有的MIR，iCARL和GDumb等方法，并评估了七个方法，以了解简单而有效的技巧对性能的影响，最终得出了MIR是一种强大而通用的在线持续学习方法。

    Jan, 2021

  • 自我监督训练增强在线连续学习

    本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

    Mar, 2021

  • 基于视觉Transformer的免样例持续学习：注意力、功能和权重正则化分析

    本文采用规则化技术研究视觉Tansformers的连续学习，特别关注其关键自注意机制的知识如何进行高效凝结。作者对比两种Method的性能，提出了一种可能具有Plasticity 和 Stability 的新方法，实验证明本研究提出的方法效果显著且 ViTs 可能在一定程度上天然倾向于连续学习。

    Mar, 2022

  • 简单即是美：通过预训练骨干网络实现即插即用的迭代学习

    通过利用预训练模型的能力，我们提出了一个基于基线（即拿来即用）的解决方案，以持续学习计算机视觉问题，并设计了一种简单的方法，在大多数常见基准测试中实现强大性能。

    May, 2022

  • SLCA: 基于分类器对齐的预训练模型渐进式学习中的慢学习器

    本研究旨在针对连续学习问题，通过使用预训练模型，提出一种基于逐步降低学习率以及分类器对齐的方法，取得了显著性能提升。

    Mar, 2023

  • 跨层表示优化预训练模型的无需重演训练的持续学习

    我们提出了LayUP，这是一种基于类原型的持续学习方法，利用预训练网络的多个中间层的二阶特征统计。与最佳基准线相比，LayUP在七种类增量学习设置中提高了四种，并且在内存和计算资源占用方面大大减少。我们的结果表明，充分利用预训练模型在持续学习中的表示能力远不止于最终嵌入。

    Dec, 2023

  • 分离记忆编辑与模型更新的解耦继续学习

    机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

    Dec, 2023

  • 具备成对层架构的任务不可知连续学习

    通过使用基于静态架构的方法，本研究不依赖记忆重现、参数隔离或正则化技术，仅通过将网络的最后一层替换为成对交互层来改善连续学习性能，并使用Winner-take-all风格激活函数中的稀疏表示来发现隐藏层表示中的相关性，实验结果表明该架构在MNIST和FashionMNIST连续图像分类实验中具有竞争性能。同时在无法访问任务标签或边界的在线流式连续学习设置中展示了这一点。

    May, 2024