Jul, 2023

通过持续增量训练检测变形攻击

PDF
TL;DR通过模拟每次有新的数据块可用时更新的学习模型，本文研究了在限制数据传输和存储的情况下，不同 Continual Learning 方法的性能，发现 Learning without Forgetting 是其中表现最佳的算法之一，并探究了它在 Morphing Attack Detection 和 Object Classification 任务中的使用和参数化，特别是与新的训练数据量相关的方面。
发现论文，激发创造
  • 关于持续学习在恶意软件分类中的局限性

    该研究探讨了 11 种连续学习技术在恶意软件分类任务中的应用，包括任务、类别和域的增量学习，在两个现实的、大规模的恶意软件数据集上进行测试，结果表明，大部分连续学习方法在性能上都不如简单的关联式回放方法。

    Aug, 2022

  • 联邦连续学习在线进行：利用不确定性进行模态无关的类增量学习

    通过基于 Bregman 信息的估计器计算模型的方差，在预测不确定性的度量下，我们能够找到具有特定特征的样本，并通过对这些样本进行模型重训练来减少现实情境中的遗忘效应。

    May, 2024

  • 无存储约束的在线持续学习

    本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

    May, 2023

  • 使用预训练模型的不断学习：调查

    本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

    Jan, 2024

  • 生物特征识别的持续表征学习

    本研究旨在提出一种新的持续表示学习方法，使用领域选择和一致性松弛策略，对大量身份执行知识蒸馏，以提高持续学习模型的可扩展性和灵活性，并在生物识别中提供用于多步骤的大规模基准测试。研究表明，比起其他竞争者，本方法获得了更好的结果。

    Jun, 2020

  • 自适应分类标准在任务增量连续学习中缓解灾难性遗忘

    本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

    May, 2023

  • 计算预算下的持续学习：什么是最重要的？

    本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

    Mar, 2023

  • 用于分析持续学习者的新度量标准

    在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

    Sep, 2023

  • 无遗忘迁移

    本文研究了连续学习和迁移学习之间的纠缠关系，提出了一种新方法 Transfer without Forgetting 来解决预训练网络在后续任务中遗忘知识的问题，并证明其在各种数据集和不同缓冲区大小下都能显着优于其他连续学习方法，平均提高了 4.81％的类增量准确性。

    Jun, 2022

  • 从一系列 API 中进行持续学习

    本研究提出了一个新颖的无数据合作式继续蒸馏学习框架，通过生成伪数据从一系列 API 中提取知识，并利用网络相似性的新正则化项防止以前 API 的灾难性遗忘。在 DFCL-APIs 设置中，该方法与完整的原始数据上的经典 CL 表现相当，而在 DECL-APIs 设置中，该方法在 CIFAR10、CIFAR100 和 MiniImageNet 上分别达到经典 CL 表现的 0.97 倍、0.75 倍和 0.69 倍。

    Aug, 2023