Apr, 2024

从长尾分布中持续学习众多任务

TL;DR该论文研究了具有大量任务的持续学习算法在长尾任务序列中的性能,并探讨了优化器状态作为提高持续学习性能的一种因素。通过维护来自先前任务的第二矩的加权平均,论文提出的方法有效减少遗忘,同时在现有的持续学习算法中取得改进。