Jul, 2024

驾驭表格数据分类中的灾难性遗忘：一种基于伪复习的方法

HTML
PDF
TL;DR通过使用基于原型的增量生成模型XuILVQ生成合成数据来保留旧知识，并使用修改后的DNDF算法以增量方式学习表格数据的分类任务， Tabular-data Rehearsal-based Incremental Lifelong Learning框架(TRIL3)成功解决了表格数据分类问题中的灾难性遗忘现象，仅使用50%的合成数据，TRIL3的性能优于文献中其他可用的持续学习方案。
发现论文，激发创造
  • 利用生成模型进行持续分类学习

    本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。

    Oct, 2018

  • 通过稀疏网络在连续学习中避免遗忘并允许前向传递

    本研究提出AFAF方法解决了class-incremental learning中，既要避免遗忘又要进行前向传递的问题，同时在处理任务间语义相似度较高时，通过任务特定组件的分配来实现选择性、有效的知识转移。实验表明，该方法能够有效提供连续学习所需的各种属性，同时在各种具有不同语义相似度的挑战性基准测试中，性能优于现有最先进方法。

    Oct, 2021

  • 通过生成框架绕过在线类增量学习中的逻辑偏差

    本研究提出了一个基于特征空间的生成分类器框架，以解决在线类增量学习中用于避免softmax分类器的数量型偏差问题，并通过广泛实验验证了该框架的有效性。

    May, 2022

  • 解决不间断学习问题的理论研究

    研究表明，类增量学习(CIL)的问题可以分解为两个子问题：任务内预测(WP)和任务ID预测(TP)，其中TP与分布外检测(OOD)相关联。该研究的关键结论是，无论是否通过CIL算法显式或隐式定义WP和TP或OOD检测，优秀的WP和TP或OOD检测都对于良好的CIL表现是必要且充分的，其中TIL就是WP。基于理论结果，还设计了新的CIL方法，其在CIL和TIL两个设置中性能均优于强基线。

    Nov, 2022

  • 自适应分类标准在任务增量连续学习中缓解灾难性遗忘

    本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

    May, 2023

  • 不记忆，模仿历史：无序列记忆联邦类迭代学习

    本文提出了一个基于泛化模型的联邦分类增量学习框架，可以在没有直接访问过去数据的情况下通过合成先前分布的样本，来减少来自各个用户的对策略的类别过程。

    Jul, 2023

  • RanPAC：用于连续学习的随机投影和预训练模型

    本文提出了一种简明有效的使用预训练模型进行CL的方法，它采用无需训练的随机投影仪和类原型累积技术，可避免遗忘问题，并且证明了与以前的方法相比，在不使用回访记忆的情况下，对于多个基准数据集，减少了最终错误率。

    Jul, 2023

  • 信息论视角下缓解连续文本分类中的灾难性遗忘

    持续学习在避免旧任务遗忘的同时，旨在不断学习新知识。本研究侧重于类增量设置下的文本分类，在探索持续学习的表示学习过程中，发现信息瓶颈的压缩效应导致了对类似类别的混淆。为了使模型学习到更充足的表示，我们提出了一种新颖的基于重放的持续文本分类方法InfoCL。该方法利用快慢对比学习和当前-过去对比学习来进行互信息最大化，更好地恢复之前学到的表示。另外，InfoCL还采用了对抗性记忆增强策略来缓解重放的过拟合问题。实验结果表明，InfoCL有效地减轻了遗忘问题，并在三个文本分类任务上达到了最先进的性能。代码公开可用于此https URL。

    Oct, 2023

  • 连续学习的统一通用框架

    该研究提出了一个统一框架来解决连续学习中的灾难性遗忘问题，并引入了一种创新的概念——刷新学习，通过重新学习当前数据来提高学习性能，在连续学习基准测试和理论分析中取得了有效的结果。

    Mar, 2024

  • 用模型遗忘方法提升生成式类增量学习性能

    本研究通过引入遗忘机制，提出了一种新颖的生成类增量学习（GCIL）方法，旨在动态管理类信息以更好地适应流数据。通过实验证明，将遗忘机制整合到GCIL中，显著提高了模型在获取新知识方面的性能，凸显了策略性遗忘在不断学习过程中的积极作用。

    Mar, 2024