Aug, 2023

无范例的类渐进学习初始训练策略分析

PDF
TL;DR类渐进学习是从数据流中构建分类模型的目标。本文通过统计分析框架量化各个因素对增量性能的相对贡献，发现初始训练策略是影响平均增量准确性的主要因素，而 CIL 算法的选择对防止遗忘更为重要。基于此分析，我们提出了选择相应初始训练策略的实际建议，以促进增量学习的实际应用部署。
class-incremental learningcatastrophic forgettingself-supervised learningneural architectureincremental accuracy
发现论文，激发创造
  • 强预训练模型实现类别增量学习

    在大规模的 ImageNet 数据集上，我们探索了一种从已经训练好的模型中增量学习的方法，通过二阶段训练方案，融合与增强，我们的方法比现有的方法在准确率上提高了 10%。

    Apr, 2022

  • 增量表示的非示例无关类别增量学习

    通过使用简单的递增表示 (IR) 框架，使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习 (efCIL) 的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明，我们提出的 IR 方法在性能上与其他方法相媲美，同时显著防止模型遗忘。

    Mar, 2024

  • AOCIL: 无示例分析型在线课堂增量学习，低时间和资源消耗

    分析型在线课堂增量学习（AOCIL）是一个无需示例的方法，通过递归最小二乘法更新分析分类器（AC）实现高准确性、低资源消耗和数据隐私保护，能够处理 OCIL 情景。

    Mar, 2024

  • 参数高效的增量式学习的互补学习子网络

    本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

    Jun, 2023

  • DiffClass: 基于扩散的类增量学习

    我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

    Mar, 2024

  • G-ACIL: 支持无样本示例的广义类增量学习的分析学习

    通过采用解析学习（一种无梯度训练技术）和生成 GCIL 场景的解析解，我们提出了一种无样本的广义解析类增量学习方法（G-ACIL），通过将传入数据分解为暴露和未暴露的类别，实现了增量学习与联合训练之间的等价性（即权重不变性），该等价性通过矩阵分析工具在理论上得到验证，在各种数据集和 GCIL 设置上的实验证明了 G-ACIL 相对于现有竞争 GCIL 方法具有卓越的性能和高鲁棒性。

    Mar, 2024

  • 面向非样本半监督类增量学习

    创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

    Mar, 2024

  • REAL：增强表征的无范例类增量学习

    提出了一种表示增强的分析学习方法，通过双流基础预训练和表示增强蒸馏过程来改善无示例约束下的渐进学习过程，解决现有基于分析学习的渐进学习中骨干网络冻结导致的表征不足问题。在不同数据集上的实验结果表明，该方法在无示例约束的渐进学习中优于现有方法，并且与基于回放的方法相比具有可比甚至更优越的性能。

    Mar, 2024

  • 无记忆类增量学习的初始分类器权重回放

    在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

    Aug, 2020

  • 通过数据集和训练精化实现更公平的基于类别的增量学习

    本文提出了一个名为 CILIATE 的新框架，用于修复迭代学习（IL）中存在的数据集偏差和算法偏差问题，并在三个流行数据集上通过独特重要样本的识别和强制学习提高 iCaRL、BiC 和 WA 等方法的性能。

    Apr, 2023