Jun, 2024

数据相关和训练 Oracle 中关于持续学习遗忘的界限

PDF
TL;DR在持续学习中，为了在未来的任务中保持良好的知识转移并最小化已学任务的遗忘，必须保留和重复使用知识。本文提出了一些理论上定量和限制遗忘程度的算法，并证明了这些算法在不同模型和算法选择下都适用，同时提供了 Gibbs 后验的界限。我们根据理论提出了一种算法，并通过实证研究证明了我们的方法在正向和反向转移方面的改进。
continual learningpreserving knowledgetransfer learningforgettingempirical demonstration
发现论文，激发创造
  • 忘却是否是正向迁移的良好归纳偏差？

    研究探讨了持续学习算法中前向传递的表现力，并考察了连续学习算法在图像分类领域的表现。结果发现，保留过去信息的表现力更好，同时这种表现力更加多样和可辨识。

    Mar, 2023

  • 在连续学习中利用测试时间数据控制遗忘

    通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

    Jun, 2024

  • 基于图的持续学习

    本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆，来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明，该模型持续胜过最近提出的基线方法，用于无任务的持续学习。

    Jul, 2020

  • 连续学习中泛化与遗忘的权衡形式化

    通过动态规划的方法建立连续学习问题的模型，将忘记与泛化之间的权衡建模为一个双方顺序博弈，提出了平衡连续学习 (BCL) 算法，使得忘记和泛化之间达到度的平衡，实验证明 BCL 与最先进技术相比表现良好。

    Sep, 2021

  • 线性回归中连续学习中遗忘的理解

    通过随机梯度下降（SGD）在线性回归模型中提供了一般性的理论分析，揭示了任务序列与算法参数之间错综复杂的关系，探讨了连续学习中的灾难性遗忘和算法参数选取对任务学习顺序的影响，通过模拟实验验证了理论分析的结果。

    May, 2024

  • 持续学习的记忆界限

    本研究基于 PAC（可能近似正确）框架，通过使用通信复杂性，探索了不断学习的复杂性理论，并提出了一种基于乘性权重更新的算法，在允许学习任务进行对数次遍历时，其内存需求良好地缩放。

    Apr, 2022

  • 超越不遗忘：带有反向知识迁移的连续学习

    CUBER 是一种用于关键层有积极相关性的老任务的前向知识传递和反向知识传递来提高连续学习中表现的方法，它可以在无数据回放的情况下实现积极的反向知识传递，并且在已有 CL 基准测试中表现优异。

    Nov, 2022

  • 不要忘记，遗忘并不是全部：连续学习的新指标

    本文提出了一种更综合全面的衡量连续学习算法的方法，包括准确性、知识转移、内存占用和计算效率等多方面的度量，并将这些度量融合成一个评分，通过评估五种算法在 iCIFAR-100 数据集上的表现来证明这种方法的优越性。

    Oct, 2018

  • 监督和无监督连续学习中的表示遗忘探究

    通过对最优线性分类器表现的差异考虑 “表示忘却” 的概念，本研究重新审视了一些标准的连续学习基准，并观察到在没有任何明确控制忘却的情况下，模型表示通常会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当，尤其是在更长的任务序列中。我们还展示了表示忘却如何推动我们对于连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，我们提出一个简单但是竞争力强的方法是，在构建旧样本的原型时，通过标准的有监督对比学习来不断地学习表示。

    Mar, 2022

  • 一种用于终身学习的 PAC-Bayesian 边界

    本文从理论角度研究终身学习，提出了 PAC-Bayesian 泛化界限，得出了两种原则性的算法并取得了可与现有方法相媲美的结果。

    Nov, 2013