Oct, 2017

变分连续学习

HTML
PDF
TL;DR本文提出变分连续学习(Variational Continual Learning，VCL)框架，它将在线变分推理(Online Variational Inference, VI)和神经网络中的蒙特卡罗变分推理(Monte Carlo VI)相融合，成功地在任务时序不断演变、全新任务涌现等复杂连续学习情景下对深度判别模型和生成模型进行建模并避免灾难性遗忘的发生。实验结果表明，在多种任务上，VCL优于现有的连续学习方法。
发现论文，激发创造
  • 利用生成模型进行持续分类学习

    本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。

    Oct, 2018

  • 使用固定点更新的在线变分贝叶斯进行任务无关的持续学习

    本文提出了 FO0-VB 算法来近似在线贝叶斯更新，以应对数据分布的非稳态性，以及在不使用外部存储器且只依靠现有体系结构的情况下，实现对不确定或未明确定义的任务边界的持续学习的优化，该方法在任务不可知场景下表现优异。

    Oct, 2020

  • 广义变分续学习

    该论文研究了在线学习中的连续学习，并介绍了使用概率正则化技术的两种主要方法，其中Variational Continual Learning (VCL)通过引入 FiLM 层等技术，得到了更好的性能表现。

    Nov, 2020

  • 核心连续学习

    本文介绍基于kernel方法的kernel continual learning模型，通过采用episodic memory存储子集样本的方式，利用kernel ridge regression算法学习任务特定的分类器，避免了内存重放以及分类器中存在任务干扰的问题。进一步，引入variational random features方法学习数据驱动的kernel，而不需要提前选择kernel函数。在四个基准测试上的结果表明了kernel在continual learning任务中的有效性和灵活性。

    Jul, 2021

  • 在线合作记忆的连续变分自编码器学习

    本研究提出了利用在线合作记忆框架（OCM）对变分自编码器（VAE）进行动态扩展混合网络的改进，以解决其在连续学习时的遗忘现象和图片生成的不足。使用OCM的短期记忆和长期记忆来存储和筛选样本，并结合动态VAE，提高其后续多任务学习的性能。

    Jul, 2022

  • 建模内部类别变化进行持续学习

    本篇研究论文介绍了记忆基础连续学习的特点和不足，并提出加强表示差异化的两种扰动方法，以改进连续学习的性能，最终基于大量实证研究结果成功验证了我们的结论。

    Oct, 2022

  • 变分密度传播持续学习

    深度神经网络在真实世界中经常面临着分布漂移、各种类型的噪声和概念目标的变化。本文提出了一个适应连续学习数据分布漂移的框架，通过贝叶斯推断中的不确定性量化来缓解灾难性遗忘问题。通过优化一个闭式ELBO目标，通过传播分布的前两个矩阵（均值和协方差）来近似预测分布，我们将灾难性遗忘问题降至最低。

    Aug, 2023

  • 通过顺序函数空间变分推断进行连续学习

    连续学习方法通过顺序贝叶斯推断模型对神经网络进行优化，使得神经网络对新任务的适应性更好、拥有更灵活的变分分布和更有效的正则化，从而实现更好的预测准确性。

    Dec, 2023

  • EVCL: 弹性变分连续学习与权重巩固

    弹性变分持续学习与权重保持的混合模型可以有效地缓解灾难性遗忘，并能更好地捕捉模型参数与任务特定数据之间的依赖关系。在五个可分辨任务上进行评估，该模型在领域增量和任务增量学习场景中持续优于现有基线模型。

    Jun, 2024

  • 通过任务启发式建模的自适应变分持续学习

    本研究解决了变分持续学习（VCL）中固定超参数导致的性能限制问题。提出了一种名为AutoVCL的新方法，通过结合任务启发式信息来自动调整超参数，从而提升模型的学习效率和优化能力。结果表明，相较于标准的GVCL模型，AutoVCL在处理新的任务时表现更佳，具有显著的潜在影响力。

    Aug, 2024