BriefGPT.xyz
Apr, 2024
从长尾分布中持续学习众多任务
Continual Learning of Numerous Tasks from Long-tail Distributions
HTML
PDF
Liwei Kang, Wee Sun Lee
TL;DR
该论文研究了具有大量任务的持续学习算法在长尾任务序列中的性能,并探讨了优化器状态作为提高持续学习性能的一种因素。通过维护来自先前任务的第二矩的加权平均,论文提出的方法有效减少遗忘,同时在现有的持续学习算法中取得改进。
Abstract
continual learning
, an important aspect of
artificial intelligence
and
machine learning
research, focuses on developing models that learn
→