基于类条件高斯分布的持续学习
该研究针对稳定数据的连续学习模型,提出了一种混合高斯模型的端到端融合方法,并在内部空间进行联合优化和调整,同时证明了该模型在基于图像分类问题上的竞争力。
Jul, 2023
本研究提出了一个基于特征空间的生成分类器框架,以解决在线类增量学习中用于避免 softmax 分类器的数量型偏差问题,并通过广泛实验验证了该框架的有效性。
May, 2022
本文提出了一种名为 IRCL 的伪排练式学习方法,其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用,以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好,并成功地解决了灾难性遗忘问题。
Jan, 2021
通过在固定特征提取器上建立贝叶斯生成模型,该研究提出了一种解决深度学习中灾难性遗忘问题的方法,并在多个医学和自然图像分类任务上表现出优异的表现。
Apr, 2022
该研究通过为卷积层添加任务特定的门控模块,并使用稀疏性目标促进对有限内核集的选择,提出了一种解决序列学习问题的新框架,实现了在没有任务标签信息的情况下的持续学习,该模型的准确度明显优于现有方法。
Mar, 2020
近期的数据驱动任务导向对话系统在增量学习方面存在计算约束和耗时的问题,而连续学习试图通过避免密集的预训练来解决此问题,但它面临的问题是灾难性遗忘。本文提出了 Dirichlet 连续学习(DCL),这是一种新颖的基于生成的排练策略,用于连续学习。与传统上在条件变分自编码器(CVAE)中使用的高斯潜变量不同,DCL 利用 Dirichlet 分布的灵活性和多功能性来建模潜在先验变量。这使得它能够有效地捕捉先前任务的句子级特征并有效地指导伪样本的生成。此外,我们介绍了 Jensen-Shannon 知识蒸馏(JSKD),一种强大的基于逻辑的知识蒸馏方法,在伪样本生成期间增强了知识传递。我们的实验证实了我们方法在意图检测和槽填充任务上的有效性,并且胜过了最先进的方法。
Sep, 2023
本文介绍了一种用于持续学习的有监督对比学习框架,旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题,实验表明其表现优异。
May, 2023
连续图学习(CGL)旨在用以流式传入的图数据不断更新图模型。本论文提出了一种名为 “Condense and Train (CaT)” 的框架来解决 CGL 中存在的数据不平衡和历史分布近似问题,通过对新来的图进行精简并将其存入 “Condensed Graph Memory” 中,最终通过 “Training in Memory” 方案来直接更新模型。在四个基准数据集上进行的广泛实验成功证明了所提出的 CaT 框架在效果和效率上的优越性。
Sep, 2023
我们提出了一种框架,通过连续无监督学习方法在任务中发现新的和已知的类别,称之为广义连续类别发现(GCCD)。通过实验证明,我们的方法在表示学习性能上优于已采用 GCD 技术的强大 CL 方法。
Aug, 2023