Feb, 2025

基于间隔_dropout的激活: 防止神经网络塑性损失的简单方法

TL;DR本研究解决了神经网络训练中的塑性损失问题,这一问题限制了模型适应新任务的能力。提出了AID(基于间隔_dropout的激活)方法,通过为每个预激活区间以不同概率应用_dropout,生成子网络,从而有效保持塑性,提升了在标准图像分类数据集上的持续学习表现,以及在强化学习中的表现。