从长尾分布中持续学习众多任务
该研究实证分析了在连续学习过程中,引入极小的叙事性记忆在任务之间转移知识的有效性,并发现相较于特定的连续学习方法,该方法能利用极小的记忆显著提升泛化能力,对小样本问题有一定的启示。
Feb, 2019
本文研究了灾难性遗忘和任务序列属性之间的关系,尤其是给定任务序列,我们希望了解这个序列的哪些属性会影响在该序列上训练的永续学习算法的错误率。我们提出了一种新的程序,利用最近在任务空间建模和相关性分析方面的发展来指定和分析我们感兴趣的属性。作为一个应用,我们将我们的程序应用于研究任务序列的两个属性:“总复杂度”和“顺序异质性”。我们发现,对于一些最先进的算法,错误率与任务序列的总复杂度强烈且正相关;令人惊讶的是,在某些情况下,错误率与顺序异质性没有或甚至具有负相关性。我们的发现为改进永续学习基准和方法提供了方向。
Aug, 2019
本文研究了基于任务增量分类的持续学习方法,提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡, 并通过三个基准测试以及综合实验比较了11种持续学习方法和4种基线的方法的强弱和影响。
Sep, 2019
通过研究任务增量设置和在线连续设置,本文提出了一些方法以解决神经网络的严重遗忘问题,并在不同的基准测试和学习序列上进行了评估,显示了连续学习技术现在的发展和应用面临的挑战。
Oct, 2019
该研究论文提出一种新的基于连续数据流的在线不断学习方法,并建立了一个大规模的在线视觉学习基准测试,研究了梯度下降优化在不断学习中的关键未被观察到的现象,并提出有效的策略来改进深度学习模型的性能。
Aug, 2021
本文探讨了在有限环境中增长任务数量的情景下,通过一种新的实验框架SCoLe,借助随机梯度下降法,实现在长序列的任务中进行知识积累和保留,提出了一种改进的随机梯度下降方法以便于在此设置中进行继续学习的算法,并通过合适的实验框架展示了新的可持续性学习学习机制。
Jul, 2022
本研究全面综述了不断学习的基本设置,理论基础,代表性方法和实际应用,总结了不断学习的目标,并通过当前趋势,跨方向前景和跨学科与神经科学的联系开展了深入讨论。
Jan, 2023
基于固定的单头结构,通过消除任务标识选择任务特定的输出头,结合基于正则化的策略和辅助无标签数据集来提高模型一致性,以及可靠的样本选择策略,我们的无先验连续学习(PFCL)方法在三种学习情景中显著减少遗忘现象,且与有限个先前样本重新训练的方法相比,PFCL取得了有竞争力的准确率。
Oct, 2023