ICLRJan, 2024
任务相似性和过度参数化对灾难性遗忘的联合影响 -- 一种分析模型
The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model
Itay Evron, Daniel Goldfarb, Nir Weinberger, Daniel Soudry, Paul Hand
TL;DR我们的研究主要关注于在可分析的模型中,任务相似性和过参数化如何联合影响遗忘,针对两个任务的连续线性回归任务,我们得到了遗忘期望的精确解析表达式并揭示了一个微妙的模式,此外,在高度过参数化的模型中,中等的任务相似性导致最多的遗忘,然而,在近插值阈值附近,遗忘随着期望任务相似性的减小而单调减少。