FeTrIL: 无模板增量学习特征翻译
本文提出了一种增量学习的方法,该方法保留以前学习类别的训练图像的特征描述符,而不是图像本身,采用了比大多数现有方法更少的低维特征嵌入,通过多层感知器学习特征适应以实现分类器旧类别和新类别的联合优化,并取得了与保留图像相比更低的内存占用和最先进的分类准确率。
Apr, 2020
本研究针对类增量学习时可能出现的“灾难性遗忘”问题,提出了一种记忆资源高效利用的样本保存方案,并结合一种主副样本协作学习方案,以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。
Aug, 2020
在大规模的ImageNet数据集上,我们探索了一种从已经训练好的模型中增量学习的方法,通过二阶段训练方案,融合与增强,我们的方法比现有的方法在准确率上提高了10%。
Apr, 2022
本文研究了班级迭代学习中的稳定性和可塑性之间的平衡,通过分析工具测量了特征表示的稳定性和可塑性,并发现大多数班级迭代学习算法更偏向稳定性而非可塑性,这不仅启发了新的算法,也提醒了班级迭代学习算法需要不断改进特征表示学习。
Apr, 2023
该论文提出了一种统一的解决方案,通过神经崩溃终局将分类增量学习、灾难性遗忘和数据不平衡与数据稀缺等问题融合在一起,并通过原型演化方案实现了对背景特征的平滑转变,从而在面临常规情况、长尾类增量学习和少样本类增量学习时实现了更好的学习能力。
Aug, 2023
本研究关注在没有保存旧类样本(无样例)的无样例设置下,通过只对新类进行监督,实现在深层特征学习中平衡可塑性和稳定性。通过对不同方法的详细对比及指标衡量,提出了一种简单的无样例设置下的 Class incremental learning 方法,即 Rotation Augmented Distillation (RAD),其表现接近顶级水平。此外,在更具挑战性的无样例设置下,进行了更多的实证和与现有方法的比较。
Aug, 2023
无先例的课程增量学习中,使用冻结的特征提取器基于欧氏距离生成类原型并进行分类,然而,欧氏距离在非静态数据学习时表现亚优,特征分布异质。为了解决这个挑战,我们重新考虑适用于课程增量学习的各向异性马氏距离,并经验证明建模特征协方差关系要优于从正态分布中采样特征和训练线性分类器的先前方法,且我们的方法在多样本和少样本课程增量学习设置以及域增量学习设置上具有广泛适用性。有趣的是,在不更新主干网络的情况下,我们的方法在多个标准连续学习基准上取得了最先进的结果。
Sep, 2023
FeTrIL框架的研究扩展至新颖的实验领域,通过对多个具有挑战性的数据集和增量设置进行各种过采样技术和动态优化策略的实证研究来研究其有效性,特别是探索过采样对特征可用性的影响以及不同的优化方法对增量学习结果的影响。通过在CIFAR100、Tiny-ImageNet和ImageNet-Subset上进行全面实验,FeTrIL在新旧类别的准确性平衡方面表现出卓越性能,相对于其他十种方法,其优越性能得到了肯定。研究揭示了过采样和优化对于类别增量学习的微妙影响,为特征空间操作在课堂增量学习中的更精细理解做出了贡献。本文的扩展研究为更适应和高效的EFCIL方法铺平了道路,承诺在不需要样本的情况下显著改善处理灾难性遗忘。
Mar, 2024
通过使用简单的递增表示(IR)框架,使用数据增强覆盖合适的特征空间并使用单一的L2空间维护损失来防止模型遗忘,我们提出了一个用于非示例类增量学习(efCIL)的方法,实现在合并新类知识的同时保留先前学到的信息,而无需存储任何旧类示例(样本)。在CIFAR100、TinyImageNet和ImageNetSubset数据集上广泛实验证明,我们提出的IR方法在性能上与其他方法相媲美,同时显著防止模型遗忘。
Mar, 2024
本研究针对深度神经网络在连续数据流学习中遭遇的灾难性遗忘问题,提出了一种新的非样本类增量学习方法。通过用合成的回顾特征替代类的原型,结合基于相似性特征补偿机制,显著提升了对旧类决策边界的保持能力。实验结果表明,该方法在多个数据集上实现了最先进的性能,并提高了非样本类增量学习的效率。
Nov, 2024