Feb, 2024

远距干扰：探索基于模型的持续学习的界限

PDF
TL;DR连续学习中的灾难性干扰和远程干扰分析，提出一种能近似任何连续函数、具有多项式计算复杂度、并且对远程干扰提供保证的新型人工神经网络结构 ABAL-Spline。通过实验证明 ABAL-Spline 在理论上具有的性质，并在基准回归问题上进行评估，得出使用多项式复杂度模型进行连续学习需要对训练数据或算法进行增强的推测。
continual learningcatastrophic interferenceartificial neural networksdistal interferenceabel-spline
发现论文，激发创造
  • 通过最大化转移和最小化干扰学习不遗忘的能力

    通过 Meta-Experience Replay 算法，在经验回放的基础上进行基于元学习的优化，实现了对未来渐变更少的干扰和更多的知识迁移。在多个领域的实验中，该方法优于目前的基准算法。

    Oct, 2018

  • 分离记忆编辑与模型更新的解耦继续学习

    机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

    Dec, 2023

  • 可证明的对比式继续学习

    通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

    May, 2024

  • 自适应分类标准在任务增量连续学习中缓解灾难性遗忘

    本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

    May, 2023

  • 解耦和减轻任务相似性对于持续学习的影响

    连续学习中任务相似性对神经网络的影响和如何缓解其困难的研究。

    May, 2024

  • 单模型之外的持续学习

    通过实验验证，本研究探讨了在连续学习过程中使用集成模型的优缺点，提出了一个计算简单、性能优良的算法来解决集成模型带来的高计算成本问题，并解决了连续学习中的遗忘问题。

    Feb, 2022

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 当今的连续学习算法有多高效？

    本文研究了增量类学习的最新方法，并指出很多算法在计算、存储和内存方面效率极低，有些甚至比从头开始训练的方法更费时，作者认为在实际应用中，不能忽视这些算法的资源消耗，持续学习不仅仅只是为了减轻灾难性遗忘。

    Mar, 2023

  • 连续学习的正则化不足

    本文研究了 Continual Learning 中基于正则化的方法，通过理论推理和实验说明了这些方法在 class-incremental 场景下不能有效学习区分不同任务的类别，在多任务强化学习或用于 Continual Learning 的预训练模型中也存在重要后果。作者认为理解正则化策略的缺陷将有助于更有效地利用它们。

    Dec, 2019