Sep, 2023

基于狄利克雷生成的排练的持续学习

PDF
TL;DR近期的数据驱动任务导向对话系统在增量学习方面存在计算约束和耗时的问题，而连续学习试图通过避免密集的预训练来解决此问题，但它面临的问题是灾难性遗忘。本文提出了 Dirichlet 连续学习（DCL），这是一种新颖的基于生成的排练策略，用于连续学习。与传统上在条件变分自编码器（CVAE）中使用的高斯潜变量不同，DCL 利用 Dirichlet 分布的灵活性和多功能性来建模潜在先验变量。这使得它能够有效地捕捉先前任务的句子级特征并有效地指导伪样本的生成。此外，我们介绍了 Jensen-Shannon 知识蒸馏（JSKD），一种强大的基于逻辑的知识蒸馏方法，在伪样本生成期间增强了知识传递。我们的实验证实了我们方法在意图检测和槽填充任务上的有效性，并且胜过了最先进的方法。
data-driven task-oriented dialogue systemscontinual learninggenerative-based rehearsaldirichlet continual learningjensen-shannon knowledge distillation
发现论文，激发创造
  • Prompt Conditioned VAE: 加强任务导向对话生命周期学习中的生成回放

    本研究提出了一种基于条件 VAE 的新型 PCLL 方法，通过加入任务统计信息来增强生成式回放并引导伪样本生成，从而改善 LL 模型训练，实验证明相比其他竞争基线方法，PCLL 在建立 LL 模型方面表现显着优异。

    Oct, 2022

  • 持续学习的不变表示学习

    本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

    Jan, 2021

  • 深入探究无复习持续学习

    通过知识蒸馏和参数正则化的组合，并探索加入预训练模型的方法，实现了单一，逐步扩展任务的无需回忆连续学习，避免遗忘以前学过的类别并不断优化性能。

    Mar, 2022

  • 计算预算下的持续学习：什么是最重要的？

    本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

    Mar, 2023

  • 使用预训练模型的现实继续学习方法

    我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

    Apr, 2024

  • 动态稀疏训练下的持续学习：探索有效模型更新算法

    连续学习是指智能系统在尽可能少的计算开销下，从数据流中顺序获取和保留知识的能力。本研究通过对 Dynamic Sparse Training (DST) 的不同组成部分在连续学习范式下的影响进行了首次实证研究，以填补重要的研究空白并为连续学习中 DST 的最佳配置提供清晰的指导。通过在著名的 CIFAR100 和 miniImageNet 基准测试数据集上进行全面的研究，研究人员发现在低稀疏度水平下，Erdos-Renyi Kernel (ERK) 初始化能更有效地利用主干网络并实现任务增量的有效学习，而在高稀疏度水平下，均匀初始化展现出更可靠和稳健的性能。对于增长策略，性能取决于定义的初始化策略和稀疏度程度。最后，DST 组成部分内的适应性是提升连续学习效果的有希望的方法。

    Aug, 2023

  • 基于扩散式生成回放的工业流数据连续学习

    基于蒸馏的自主引导 (DSG) 模型利用生成式回放机制，通过知识蒸馏从先前基于扩散的生成器向更新的生成器传输知识，从而提高了生成器的稳定性和再现数据的质量，有效缓解了在工业流数据中出现的挑战，并在 CWRU、DSA 和 WISDM 数据集上取得了优于现有基准模型的实验结果，展示了在实践工业应用中的潜力。

    Jun, 2024

  • 基于重要性采样和原型 - 实例关系蒸馏的对比持续学习

    基于对比学习的连续学习方法，该研究提出了基于重放缓冲区选择（RBS）的对比连续学习方法以确保知识的保留，并使用原型 - 实例关系蒸馏（PRD）损失来维护样本表示与原型之间的关系，实验证明该方法在在线环境中有效消除灾难性遗忘问题。

    Mar, 2024

  • 极限内存约束下的在线连续学习

    本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

    Aug, 2020

  • 一种神经狄利克雷过程混合模型用于无任务连续学习

    该论文提出了 Continual Neural Dirichlet Process Mixture (CN-DPM) 模型，并基于该模型提出了基于扩展方法的无任务连续学习方法，成功地将其应用于图像分类和图像生成等区别性和生成性任务的场景中。

    Jan, 2020