CLNeRF:连续学习与 NeRF 相遇
本文介绍了 CLEAR 数据集,通过一种新颖的、可扩展的、低成本的视觉语言数据集策划方法,利用预训练的视觉语言模型 CLIP 交互式地构建标记数据集并进行验证,清除了错误和不合适的图像,提出了流处理评估协议并发现,流处理协议可以产生模型更普遍的、更准确的性能估计,包括半监督学习。
Jan, 2022
本文讨论了现实连续学习中的一些挑战和数据演习作为缓解精度损失的一种方式,并从现有公开数据集构建了一个连续学习 NER 数据集并公开发布其与代码给研究社区。
Oct, 2021
提出基于循环神经网络(RNN)的连续学习模型,利用弹性权重合并法(EWC)处理输入分布的概念漂移,通过在两种不同类型的 RNN 之上实现和测试 EWC,比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异,并高亮了需要专门解决 RNN 中的连续学习的问题。
Apr, 2020
本文介绍了一种基于 continual learning 方法的视觉搜索模型,它可以不断更新模型以处理增量式的图库集,同时不会影响模型的特征空间并且可以适用于新的图像类别。
May, 2022
本文提出了 Continual Facial Expression Recognition(ConFER)基准测试,评估了不同的 Continual Learning(CL)方法在面部表情识别任务中的性能,表明 CL 技术在不同的学习设置下能够实现多个数据集上的最先进的性能,因此促进了关于将 CL 原则应用于人类面部表情的行为理解中的益处和挑战的讨论。
May, 2023
本研究旨在提出一种新的持续表示学习方法,使用领域选择和一致性松弛策略,对大量身份执行知识蒸馏,以提高持续学习模型的可扩展性和灵活性,并在生物识别中提供用于多步骤的大规模基准测试。研究表明,比起其他竞争者,本方法获得了更好的结果。
Jun, 2020
我们提出了一个新的连续学习(CL)范式 Realistic Continual Learning(RealCL),其中任务之间的类分布是随机的,不同于结构化设置。同时,我们引入了一个名为 CLARE 的预训练模型解决方案,旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。
Apr, 2024
在人工智能中,持续学习(Continual Learning)是一个重要的挑战,旨在模拟人类不断获得知识和技能的能力。本研究将关注点从基于分类任务的持续学习转移到生成模型的持续学习(CLoG)。研究通过对比传统的基于分类任务的持续学习,系统性地识别了 CLoG 所面临的独特挑战。研究在生成任务中引入了基于回放、正则化和参数隔离等三种现有的持续学习方法,并提出了广泛任务覆盖和多样性的 CLoG 基准。通过基准测试和结果分析,揭示了有价值的见解,对未来的 CLoG 方法的开发具有重要意义。此外,作者还公开了一个代码库,旨在促进 CLoG 的基准测试和实验,从而在终身学习范 paradigma 内为下一代 AI 生成内容(AIGC)开辟新的道路。
Jun, 2024
本研究引入了一种名为 Recursive Gradient Optimization 的新方法,该方法不仅能够在没有数据重放的情况下修正梯度以减少遗忘,而且还具有虚拟特征编码层 (FEL),该层只使用任务描述符即可表示不同的长期结构。实验表明,与基线相比,RGO 在流行的连续分类基准测试中表现显著更好,并在 20-split-CIFAR100 (82.22%) 和 20-split-miniImageNet (72.63%) 中取得了新的最佳性能。该方法比单任务学习(STL)具有更高的平均准确性,而且灵活可靠,在学习依赖于梯度下降的模型的连续学习方面具有潜在的应用价值。
Jan, 2022
连续学习是一个研究领域,旨在构建能够在不重新训练的情况下连续积累不同任务知识的机器学习模型。本文提出了第一个用于时空图的连续图学习基准,并将其用于评估在这一新领域中著名的连续图学习方法。通过标准性能指标的基准测试,我们研究了连续图学习方法的类和任务顺序敏感性,以及带有不同宽度和深度的骨干 GNN 架构的连续图学习方法的架构敏感性。我们发现,任务顺序稳健的方法仍可能对类别顺序敏感,并观察到与先前经验观察相矛盾的结果,这些观察促使我们对连续学习的架构敏感性产生了新的认识。
Jan, 2024