关键词rehearsal-based methods
搜索结果 - 7
- 针对不平衡数据的无数据生成式重放增量学习
该论文介绍了一种名为 Data-Free Generative Replay (DFGR) 的新方法,其用于实现无数据训练生成器并解决图像分类中的数据不平衡问题,在持续学习的过程中取得了显著的结果。
- 无需排练的模块化和组合式连续学习语言模型
MoCL 是一种无需复习的模块化和组合的连续学习框架,通过不断向语言模型添加新模块并与现有模块组合,有效地促进知识传递。
- 持续视觉与语言导航
以连续学习为基础,提出了视觉语言导航的连续学习范式,通过重新组织已有的导航数据集,提出了 CVLN-I 和 CVLN-D 两个用于训练和评估 CVLN 代理的数据集,进一步提出了 Perplexity Replay (PerpR) 和 Ep - 自然物理定律学习环境中的灾难性干扰被缓解
在自然学习环境中,我们评估了基于反馈的简单复习方法在类似人类面临的符合幂律分布的环境中减轻灾难性干扰的程度,并比较了其与其他基线方法的表现。
- MMUER: 在线持续学习的启发式偏差解决方法
在线连续学习通过对连续数据流进行单次遍历来不断训练神经网络。通过将点积 logit 分解为角因子和模因子,我们发现偏差问题主要出现在角因子中,并利用模因子来平衡新旧知识以解决偏差问题。在三个数据集上的实验证明,解决偏差问题的启发式方法 UE - 动态模块化和稀疏的通用持续学习
本文研究了基于重复练习的持续学习方法对于解决深度神经网络在面对非稳态数据时产生的遗忘问题的有效性,并引入 brain sparse coding 中的动态模块化与稀疏性 (Dynamos) 来解决任务干扰问题。研究结果表明 Dynamos - 在线持续学习的简单而强大的基线:重复增强训练
本论文重新审视了在线学习中排挤记忆(rehearsal)动态。我们从偏差和动态经验风险最小化的角度提供了理论见解,并检查了重复练习的优点和局限性。受我们的分析启发,设计了一个简单直观的 “重复增强排挤(Repeated Augmented