- 模型大小对在线连续学习中灾难性遗忘的影响
研究探讨了模型大小对在线持续学习性能的影响,重点研究了灾难性遗忘。使用不同大小的 ResNet 架构,研究了网络深度和宽度对使用 SplitCIFAR-10 数据集进行逐步学习的模型性能的影响。研究结果表明,更大的模型并不能保证更好的持续学 - ICML利用神经元单元动力学进行高效和可扩展的类增量学习
基于神经元动力学调整的自激活模型,用于训练模型从非稳态数据流中学习新类别而不忘记旧类别,通过引入监督机制来指导网络扩展,使其在推理时自动激活所需的神经元单元以检索知识,从而在不同的背景下实现强大的增量学习性能。
- 基于少样本调整基础模型的类别递增学习
针对视觉基础模型的少样本调优方面的类增量学习,我们提出了 CoACT 方法,通过异步对比调优、控制微调和一致性引导增量调优三个组成部分,有效提升了模型性能和鲁棒性。
- 少即是多:用于高效多标签类别增量学习的补丁标记总结
通过提出的多标签增量学习方法 MULTI-LANE,我们能够在不同前景对象属于多个任务时,通过维护任务特定路径来消除选择提示的机制,并通过总结的标记对这些减少后的标记应用提示调整以计算最终表示,这使得我们能够学习在多标签增量学习中解耦的任务 - 通过注意力引导的增量学习在知识连续中减轻干扰
通过引入紧凑任务注意力来减少任务干扰,Attention-Guided Incremental Learning (AGILE) 在不同的持续学习场景中优化泛化性能,克服了遗忘之前获取的知识的问题。
- 基于贝叶斯学习的原型对比损失函数在类别增量学习中的应用
我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失(BLCL)的联合方法,该方法通过减小类内距离和增大类间距离,将新类别融入潜在表示中,动态调整交叉熵和对比损失函数之间的平衡,实证评估结果证明了我们方法的优越性。
- 动态特征学习与匹配用于类增量学习
在这篇论文中,我们从三个角度提出了动态特征学习和匹配(DFLM)模型,分别是引入类别权重信息和非平稳函数来调整训练过程中对内存的关注,利用 von Mises-Fisher(vMF)分类器有效建模动态特征分布并隐式学习其判别性质,以及通过最 - CVPR在重复的情况下进行连续学习
这篇研究报告总结了 CVPR 2023 年的 CLVision 挑战赛,重点讨论了类增量学习中的数据重复问题,介绍了三个解决方案,实验证明基于模块集成的多版本策略对于利用数据流中的重复性进行持续学习是有效的。该报告强调了通过在数据流中利用重 - CVPR语义偏移增量适配器调整是一种持续的 ViTransformer
提出了一种增量调整的方法,通过逐渐调整共享适配器的参数而不施加参数更新约束,提高骨干网络的学习能力,并使用存储的原型进行特征采样以重新训练统一分类器,进一步改进性能,实验结果验证了该方法的有效性。
- CVPR生成多模态模型在类增量学习中表现优秀
我们提出了一种适用于类增量学习的新型生成多模态模型(GMM)框架,通过适应的生成模型直接生成图像的标签,利用文本编码器提取文本特征并使用特征匹配确定最相似的标签作为分类预测结果,在常规类增量学习任务和少样本类增量学习任务中,我们相比目前最先 - 面向非样本半监督类增量学习
创新性地提出了一种非示例的半监督类增量学习框架,通过对比学习和半监督的增量原型分类器,使模型能够逐步从部分标记的新数据中学习,同时保持旧类别的知识。
- 通过模拟未来数据推荐无需数据的增量类学习算法
通过模拟未来数据流并评估最新的算法,我们提出了一种基于生成模型的算法推荐方法,用于选择最适合特定增量设置的算法,以促进增量学习的实际部署。
- AAAIDS-AL:无范例增量学习的双流分析学习
为了解决无模范约束下的递增学习问题,本文提出了一种双流分析学习方法,包含主流和补偿流,通过重定义问题和利用嵌入投影到主流线性映射的零空间来解决原有的欠拟合问题。实证结果显示,尽管无模范技术,DS-AL 在各个数据集上的性能不输于或优于基于重 - CVPR基于预训练模型的递增学习的可扩展子空间集成
在这篇论文中,我们提出了基于预训练模型(PTM)的类增量学习的扩展子空间集成(EASE)方法,通过为每个新任务训练一个独立的轻量级适配器模块来实现模型的有效更新,以创建任务特定的子空间,并通过语义引导的原型补全策略合成旧类别的新特征。大量实 - AAAI自适应发现和合并用于增量式新类别发现
提出了一种自适应发现和合并(ADM)的新范式,用于在增量阶段自适应地发现新类别并将新知识整合到模型中,通过减少对旧类别的干扰来保留先前知识,并在不降低性能和参数增长的情况下将新分支合并到基本模型中,从而显著优于现有的类别增量性新类别发现方法 - 开放世界机器学习:回顾与新展望
综合研究开放环境下机器学习的未知拒绝、新类别发现和类别自适应学习等方面,探讨了当前方法的挑战、原则和限制,以及未来研究的潜在方向。旨在全面介绍新兴的开放环境机器学习范式,帮助研究人员在各自领域构建更强大的人工智能系统,并促进人工通用智能的发 - CVPR梯度重新加权:朝着不平衡分类增量学习的方向
Class-Incremental Learning faces a dual imbalance problem, which results in skewed gradient updates, catastrophic forget - MCF-VC: 缓解多模态视频描述中的类递增学习中的灾难性遗忘
解决视频字幕生成中的灾难性遗忘问题,通过细粒度敏感度选择和两阶段知识蒸馏方法,有效保持模型在新老任务上的性能。
- 在类增量学习中平衡因果效应
基于预训练模型的类增量学习中,平衡因果效应的方法(BaCE)通过构建来自新旧数据到新旧类别预测的因果路径,解决了新旧类别之间的因果失衡问题,并在多个任务和设置上优于其他类增量学习方法。
- TaE: 面向长尾类增量学习的任务感知可扩展表示
通过采用动态网络算法和中心点增强方法,提出一种任务感知可扩展的框架(Task-aware Expandable,TaE),用于解决长尾类增量学习问题,并在 CIFAR-100 和 ImageNet100 数据集上进行实验证明其能取得最先进的