ECCVJul, 2022

在线合作记忆的连续变分自编码器学习

PDF
TL;DR本研究提出了利用在线合作记忆框架（OCM）对变分自编码器（VAE）进行动态扩展混合网络的改进，以解决其在连续学习时的遗忘现象和图片生成的不足。使用 OCM 的短期记忆和长期记忆来存储和筛选样本，并结合动态 VAE，提高其后续多任务学习的性能。
variational autoencoderscontinual learningcatastrophic forgettingmemory bufferingonline cooperative memorization
发现论文，激发创造
  • 变分自编码器的对抗训练，用于持续的零样本学习（A-CZSL）

    文章提出了一种基于 VAE 模块的连续零样本学习模型 (A-CZSL)，用于解决人工神经网络与人类区别在于传统模型很难取得不同阶段任务良好的表现，模型大小在任务逐步增加的同时增长以防遗忘，并展示其在零样本学习和广义零样本学习上的优越性能。

    Feb, 2021

  • 基于知识重构的终身生成学习

    本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。

    Jan, 2022

  • 变分连续学习

    本文提出变分连续学习 (Variational Continual Learning，VCL) 框架，它将在线变分推理 (Online Variational Inference, VI) 和神经网络中的蒙特卡罗变分推理 (Monte Carlo VI) 相融合，成功地在任务时序不断演变、全新任务涌现等复杂连续学习情景下对深度判别模型和生成模型进行建模并避免灾难性遗忘的发生。实验结果表明，在多种任务上，VCL 优于现有的连续学习方法。

    Oct, 2017

  • EEC: 学习图像编码和再生，用于持续学习

    使用自动编码器和神经风格转移的方法来解决持续学习中的灾难性遗忘和存储数据的内存限制问题，并取得了比最先进方法更高的分类准确率和更少的存储空间。

    Jan, 2021

  • 广义变分续学习

    该论文研究了在线学习中的连续学习，并介绍了使用概率正则化技术的两种主要方法，其中 Variational Continual Learning (VCL) 通过引入 FiLM 层等技术，得到了更好的性能表现。

    Nov, 2020

  • 变分推断和自联记忆之间的关系

    该研究文章提出了一个变分推断的自联想记忆模型，可以结合感知推断和存储检索，通过将先验概率密度定义为于已存储的表达式依存，吸引后续推断流程向先前存储的表达式。通过比较一些变分自编码器和预测编码的方法，作者结合这些方法提出了新的自联想存储模型，并在 CIFAR10 和 CLEVR 图像数据集上进行了评估。同时，作者也将这些自联想存储模型与 Hopfield Networks、End-to-End Memory Networks 和 Neural Turing Machines 等其他联想存储模型进行了比较。

    Oct, 2022

  • 变分有损自编码器

    本文提出了一种基于变分自编码器和神经自回归模型的简单但原则性的方法来学习全局表示，该方法允许对全局潜在特征进行控制，通过设计相应的架构，可以迫使全局潜在特征丢弃 2D 图像纹理等无关信息，并且通过利用自回归模型作为潜在分布和解码分布，可以大大提高 VAE 的生成建模性能，实现了 MNIST、OMNIGLOT 和 Caltech-101 Silhouettes 密度估计任务的新的最先进结果。

    Nov, 2016

  • 无存储约束的在线持续学习

    本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

    May, 2023

  • 多阶段变分自编码器用于粗到细的图像生成

    使用多段式 VAE 模型生成高品质图像，通过使用残差块和跳跃连接来增加解码器网络的容量，并使其能够使用多段式生成精细的图像。

    May, 2017

  • 自编码变分自编码器

    本文证明了一种名义上训练过的变分自编码器（VAE）并不一定能够为其能够生成的典型样本便捷地进行推理，介绍了一种自一致性的概念来修正这种行为，并提出了一种基于马尔可夫链的变分近似分布的替代构造方法，具有自监督的后处理环节，可以使其生成的表示更加鲁棒，同时提供了 ColorMnist 和 CelebA 基准数据集上的实验结果。

    Dec, 2020