Oct, 2021

通过稀疏网络在连续学习中避免遗忘并允许前向传递

HTML
PDF
TL;DR本研究提出AFAF方法解决了class-incremental learning中，既要避免遗忘又要进行前向传递的问题，同时在处理任务间语义相似度较高时，通过任务特定组件的分配来实现选择性、有效的知识转移。实验表明，该方法能够有效提供连续学习所需的各种属性，同时在各种具有不同语义相似度的挑战性基准测试中，性能优于现有最先进方法。
发现论文，激发创造
  • 不要忘记，遗忘并不是全部：连续学习的新指标

    本文提出了一种更综合全面的衡量连续学习算法的方法，包括准确性、知识转移、内存占用和计算效率等多方面的度量，并将这些度量融合成一个评分，通过评估五种算法在iCIFAR-100数据集上的表现来证明这种方法的优越性。

    Oct, 2018

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。

    Sep, 2019

  • 连续学习中实现遗忘预防和知识迁移

    本文提出了一种名为CTR的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明CTR模型是有效的。

    Dec, 2021

  • 具有领域感知分类表示的通用增量学习

    本文提出一种基于EM框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于von Mises-Fisher混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。

    Apr, 2022

  • 知识融合的类增量学习

    通过多源异构教师模型的知识融合过程，学生网络可以在不需要注释的情况下学习以前任务的专业知识，从而在后续的单一头学生网络中处理“灾难性遗忘”问题。

    Sep, 2022

  • 连续学习的全面调查：理论，方法与应用

    本研究全面综述了不断学习的基本设置，理论基础，代表性方法和实际应用，总结了不断学习的目标，并通过当前趋势，跨方向前景和跨学科与神经科学的联系开展了深入讨论。

    Jan, 2023

  • 理想的持续学习者: 一种永不遗忘的智能体

    本文提出了一个新的永续学习框架“理想永续学习器”(ICL)，其通过构造保证避免了灾难性遗忘。我们证明了ICL统一了多种现有的永续学习方法，并为这些方法的优缺点提供了新的理论见解。最后，我们将ICL与现代研究领域中的经典主题和研究课题联系起来，以期激发未来的研究方向。

    Apr, 2023

  • 以计算有限的强化学习为基础的持续学习

    一个高效地累积知识、在长期生命周期中不断发展更复杂技能的代理机构，可以推动人工智能能力的前沿。本文概述和形式化了持续学习的概念，引入了一个框架和一套工具来激发进一步的研究。

    Jul, 2023

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了LLMs在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为CLARE的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了CLARE在各种RealCL场景中的有效性和优越性。

    Apr, 2024