少样本持续主动学习的学习模型
本研究提出 Continual Active Learning(CAL)的概念,结合现有和新开发的基于回放的多样化技术,能有效解决 Active Learning 中重新训练以及忘记旧数据等问题,从而能在保持性能的同时大幅度减小训练时间。
May, 2023
研究了序列任务中主动持续学习(ACL)问题,其中每个任务都包括未标记数据池和注释预算,并发现了主动学习(AL)算法与 CL 算法之间的有效性和相互作用。实验揭示了忘却旧知识和快速学习 CL 和 AL 之间两个相反目标之间的权衡,并提出了一个遗忘 - 学习剖面来平衡 AL 和 CL 对课程增量方案的影响。
May, 2023
本文定义了一个新问题:不断出现的少样本学习;提出了 Continual Meta-Learner 来解决此问题,并在 MiniImageNet 和 CIFAR100 两个图像数据集上进行了广泛实验,表明 CML 在少量样本学习任务的分类准确性方面实现了现有最先进水平并避免了灾难性遗忘。
Jul, 2022
通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法,通过训练自指神经网络来元学习其上下文中的连续学习算法,以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题,并且其学习到的算法表现优于手工设计的算法,在无回放设置下,在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。
Dec, 2023
本文研究神经网络存在的遗忘问题以及连续学习的解决方案,通过重放机制和元学习的结合,发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题,并在保证学习效率和准确性方面具有优势。
Mar, 2021
在研究中,提出了一个更普遍的场景 OSAKA,即代理人必须快速解决新的(分布外)任务,并快速回忆起以前的任务。作者提出了 Continual-MAML 作为强有力的基准线,并在实验中证明,它比其他方法更适合新情况。
Mar, 2020
在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题,本文提出了 Collaborative Continual Learning (CCL) 和 Distillation Chain (DC) 两种方法,通过合作学习和知识蒸馏,大幅提高了模型的学习能力和性能。
Dec, 2023
这篇研究论文介绍了一种用于持续学习的新框架,它将关联记忆与回放策略相结合,通过稀疏内存编码归档显著的数据片段,并引入面向内容的记忆检索机制,通过实验证明了该方法在各种持续学习任务中的有效性。
Oct, 2023
该研究提出了一个新的学习框架 CLIF,可以在不断更新的多个 NLP 任务中提高模型的泛化能力,同时保留早期任务的表现,作者使用了多种方法对该框架进行了评估,并提出了一种新的适配器生成方法。
Apr, 2021