Mar, 2024

NTK 引导下的少样本类别增量学习

PDF
TL;DR通过对 FSCIL 中神经切向核（NTK）的基本理论研究，我们设计出一种元学习机制，用数学原理来指导扩展网络内的优化过程，确保全局最优的 NTK 收敛和与 NTK 相关的泛化误差，从而提高网络的基础泛化能力。通过自我监督的预训练、课程对齐和对卷积层和线性层定制的双重 NTK 正则化等方法的综合效果，我们的网络在主流的 FSCIL 基准数据集上优于目前最先进的方法，将最终准确率提升了 2.9% 至 8.7%。
anti-amnesia fscil learnersneural tangent kernelntk convergencentk-related generalization errorrobust ntk properties
发现论文，激发创造
  • 基于知识转移的 Few-Shot 类增量学习

    提出了一种基于知识传递的关系补充网络（KT-RCNet）方法，使用多样的伪增量任务作为代理来实现知识传递，并通过对模型的塑性进行充分的优化来满足 Few-shot class-incremental learning 的学习目标，实现了对三种常见的 Few-shot class-incremental learning 数据集的良好实验效果。

    Jun, 2023

  • 少样本类增量学习

    该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

    Apr, 2020

  • Few-Shot 类增量学习调查

    本文从方法学、性能、应用等多个角度全面分析了最新的 few-shot class-incremental learning（FSCIL）的进展，包括理论研究、性能评估和应用案例，针对当前存在的数据实时性差、忘记之前学习内容、过拟合等问题，提出了一种划分方法，将 FSCIL 分成了传统机器学习方法、元学习方法、特征和特征空间方法、重放方法和动态网络结构方法等五个子领域，并介绍了该领域在计算机视觉、自然语言处理和图像处理等多个方面的应用及未来的研究方向。

    Apr, 2023

  • 减少偏差的少样本递增学习

    本研究提出了一种用于解决少样本增量学习中模型偏差问题的新方法，通过激发映射能力、分别进行双特征分类和自优化分类器等步骤，显著减轻了模型偏差问题，并在三个广泛使用的少样本增量学习基准数据集上取得了最先进的性能。

    Feb, 2024

  • 增强的少样本逐类增量学习通过集合模型

    通过设计新的集成模型框架与数据增强，以解决在少样本类别增量学习中的过拟合问题，并应用多输入多输出的集成结构和空间感知的数据增强策略来改善特征提取器的多样性和减轻过拟合，同时整合自监督学习以进一步提高模型泛化能力，综合实验结果表明该方法在少样本类别增量学习中能够减轻过拟合问题，并且优于现有方法。

    Jan, 2024

  • TKIL：基于正切核的类平衡增量学习方法

    该研究提出了一种基于神经切向核方法的深度神经网络类增量学习方法（TKIL），可以更好地平衡跨类别的性能，实现更高的整体准确性和方差。

    Jun, 2022

  • 针对小样本类增量学习的平衡监督对比学习

    本文提出了一种简单有效的学习方案，来解决 few-shot class-incremental learning 中平衡新任务的欠拟合和遗忘之前任务的挑战，并在 CUB200、CIFAR100 和 miniImagenet 数据集上展现了领先的性能。

    May, 2023

  • 预训练视觉与语言变形器是少样本增量学习者

    本文介绍了一种名为 PriViLege 的新型 FSCIL 框架，通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏，有效地解决了 FSCIL 中的遗忘和过拟合问题，并获得了明显优于现有方法的结果。

    Apr, 2024

  • FL-NTK: 一种基于神经切向核的联邦学习收敛性分析框架

    本文提出一种新的收敛分析方法 - Federated Learning Neural Tangent Kernel (FL-NTK)，旨在研究在 Federated Learning 框架下，使用逐渐逼近的方法对参数化的 ReLU 神经网络进行梯度下降训练时的收敛性分析，并证明该方法可以在线性时间内收敛到全局最优解，并可通过适当的分布假设获得良好的泛化能力。

    May, 2021

  • 基于语义感知的少样本类别增量学习知识蒸馏

    本研究提出一种用于解决 few-shot class incremental learning（FSCIL）问题的蒸馏算法，该算法利用语义信息进行训练，同时提出基于注意机制的方法来对齐视觉和语义向量，从而有效降低了灾难性遗忘的影响，并成功地在 MiniImageNet、CUB200 和 CIFAR100 数据集上创下了新的最优结果。

    Mar, 2021