BriefGPT.xyz
Ask
alpha
关键词
memory rehearsal
搜索结果 - 2
ICLR
BERT 在连续任务中能否避免遗忘?一个探究研究
该研究发现预训练语言模型 BERT 能够在学习新任务时不需要稀疏经验回放外就能保留以前所学的知识,通过探究其机制并采用记忆重演方法能够有效减少任务增量学习中的遗忘。
PDF
a year ago
ICLR
基于误差敏感度调节的经验回放:缓解连续学习中突发表示漂移
提出一种机制 “ESMER” 来调节神经网络的错误敏感性,通过对过去错误的记忆,使其学习更多的小的连续错误然后是暴发性大的错误,并使用 “Error-Sensitive Reservoir Sampling” 维护情节记忆,从而更好地保留信
→
PDF
a year ago
Prev
Next