Nov, 2023

探究共享权重决策对连续学习中的知识迁移的影响

PDF
TL;DR通过研究不同的权重共享决策对任务间的转移学习的影响，本文揭示了任务的复杂性和相似性对最佳权重共享决策的影响，并通过实验验证了在符合研究结果支持的权重共享决策下，相较于其他决策，可以提高任务准确性。
continual learningcatastrophic forgettingforward knowledge transferpruning methodsweight sharing
发现论文，激发创造
  • 连续学习中实现遗忘预防和知识迁移

    本文提出了一种名为 CTR 的模型，通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移的问题。实验结果表明 CTR 模型是有效的。

    Dec, 2021

  • 无遗忘迁移

    本文研究了连续学习和迁移学习之间的纠缠关系，提出了一种新方法 Transfer without Forgetting 来解决预训练网络在后续任务中遗忘知识的问题，并证明其在各种数据集和不同缓冲区大小下都能显着优于其他连续学习方法，平均提高了 4.81％的类增量准确性。

    Jun, 2022

  • 自适应权重下的持续学习（CLAW）

    引言一个新的叫做 Continual Learning with Adaptive Weights (CLAW) 的做法，基于概率建模和变分推理来解决深度学习中连续学习的问题。实验表明，在分类准确率和解决 Catastrophic Forgetting 两个方面，CLAW 在六个项目中均取得了最先进的表现。

    Nov, 2019

  • 混合任务连续学习的子网络发现与软遮罩

    本文提出了一种新的连续学习方法，通过发现为每个任务建立子网络来解决灾难性遗忘，同时引入了软掩模机制来保留先前的知识并实现知识传递，实验结果显示该方法始终优于强基线模型。

    Oct, 2023

  • 超网络的持续学习

    本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

    Jun, 2019

  • 循环神经网络中的持续学习

    本文针对循环神经网络 (RNNs) 顺序数据的连续学习 (CL) 方法进行了全面评估，发现了应用权重重要性方法时的特殊性，并提出了一种基于超级网络的正则化方法，有效解决了 RNNs 上的连续学习问题。

    Jun, 2020

  • 超越不遗忘：带有反向知识迁移的连续学习

    CUBER 是一种用于关键层有积极相关性的老任务的前向知识传递和反向知识传递来提高连续学习中表现的方法，它可以在无数据回放的情况下实现积极的反向知识传递，并且在已有 CL 基准测试中表现优异。

    Nov, 2022

  • 共享权重对于成功的优化至关重要

    本文研究卷积神经网络体系结构中共享权重对优化的重要性，探索不同目标函数频率的不同概念，并证明其必要性。研究结果表明，使用共享权重的体系结构与其他不使用共享权重的体系结构在优化方面存在理论差异。

    Jun, 2017

  • 基于部分超网络的持续学习

    本研究提出了部分权重生成的超网络，针对连续学习中忘记问题进行了实验，发现与激活重演方法相比，部分超网络保持了先前经验的准确性，并提供了计算和最终测试准确性之间有效的平衡。

    Jun, 2023

  • 深入探究神经架构搜索中的权重共享

    本文探究权重共享对神经架构搜索的影响，发现权重共享导致模型表现差异显著，同时也可以从共享权重的超级神经网络中提取有价值的信息，并提出适度减少权重共享的方法来减少差异性并提高性能。

    Jan, 2020