Dec, 2021

混合类似和不相似任务的连续学习

PDF
TL;DR本文提出了一种针对混合相似和不相似任务序列的学习技术，旨在解决忘却问题并实现信息的前向和后向传输，其中针对不相似任务的算法处理忘却问题，针对相似任务，算法着重于选择性地将从某些相似前一任务学习到的知识传递到新任务中，实验结果表明该模型的有效性。
发现论文，激发创造
  • 教师 - 学生设置下的持续学习：任务相似性的影响

    研究在老师 - 学生设置下深度神经网络中的连续学习，通过探究老师之间的相互作用关系，发现任务相似性在中间层与特征层之间存在复杂的相互作用，会对初始遗忘转移率、最大遗忘转移率以及长期遗忘转移率产生影响。这些结果有助于阐明导致灾难性遗忘的多种因素。

    Jul, 2021

  • 混合任务连续学习的子网络发现与软遮罩

    本文提出了一种新的连续学习方法，通过发现为每个任务建立子网络来解决灾难性遗忘，同时引入了软掩模机制来保留先前的知识并实现知识传递，实验结果显示该方法始终优于强基线模型。

    Oct, 2023

  • 解耦和减轻任务相似性对于持续学习的影响

    连续学习中任务相似性对神经网络的影响和如何缓解其困难的研究。

    May, 2024

  • 对抗性持续学习

    本研究旨在使用混合方法来解决连续学习中遗忘的问题，该方法结合了体系结构生长来防止任务特定技能的遗忘，并采用经验回放方法来保存共享技能。研究结果表明，我们的混合方法在单个数据集和多个数据集的类增量学习中都表现优异。

    Mar, 2020

  • 超越不遗忘：带有反向知识迁移的连续学习

    CUBER 是一种用于关键层有积极相关性的老任务的前向知识传递和反向知识传递来提高连续学习中表现的方法，它可以在无数据回放的情况下实现积极的反向知识传递，并且在已有 CL 基准测试中表现优异。

    Nov, 2022

  • 多任务的课程学习

    本文提出了一种处理多个任务的顺序学习方法，通过仅在相关性较高的任务之间共享信息，其基于广义绑定准则的任务顺序决策能够优化任务分类绩效并自动发现任务最佳顺序。实验结果表明，顺序学习比同时学习更加有效，任务完成顺序重要并具有指引意义。

    Dec, 2014

  • 迈向稳健高效的持续语言学习

    本文提出了一种针对任务序列的基准测试，旨在从持续学习和迁移学习的角度探讨如何快速适应新任务和模型微调策略。同时，提出了一种简单而有效的学习器，通过选择性策略初始化新模型并从过去的任务检查点中获得最大利用信息的能力。

    Jul, 2023

  • 生命周期学习中基于共同表示空间的任务感知信息路由

    本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。

    Feb, 2023

  • 连续学习中实现遗忘预防和知识迁移

    本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

    Dec, 2021

  • 经验回放用于连续学习

    本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题，并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。

    Nov, 2018