使用终身 VAEGAN 跨多个数据领域学习潜在表示

ECCVJul, 2020

使用终身 VAEGAN 跨多个数据领域学习潜在表示

Learning latent representations across multiple data domains using Lifelong VAEGAN

Fei Ye, Adrian G. Bors

TL;DR本论文提出了一种新颖的终身学习方法 L-VAEGAN，它不仅具有强大的生成重放网络，还学习有意义的潜在表征，并能够自动将与不同领域相关的信息嵌入到潜在空间的多个聚类中，捕获不同数据域之间的语义相关的共享潜在变量，支持许多传统的生成重放方法所不支持的下游任务，包括不同数据域之间的内插和推理。

Abstract

The problem of catastrophic forgetting occurs in deep learning models trained on multiple databases in a sequential manner. Recently, generative replay mechanisms (GRM), have been proposed to reproduce previously learned knowledge aiming to reduce the forgetting. However, such approach

catastrophic forgetting generative replay mechanisms lifelong learning latent representations clustered latent space

发现论文，激发创造

基于知识重构的终身生成学习

本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。

Jan, 2022

使用动态扩展图模型的终身生成建模

本文研究了 VAEs 在学习多个任务时存在的知识遗忘问题，提出了使用 GR 和 ENA 方法的联合模型 DEGM。通过理论分析，我们发现 DEGM 得到了最佳表现，同时减少了所需参数的数量。

Dec, 2021

回顾过去：持续学习中生成回放的知识更好保留

改进了生成回放在连续学习环境中的表现，提出了三种修改方法以克服当前方法对于复杂数据生成的不足，并通过实验证明了方法在各种场景下的优越性能。

Sep, 2023

终身 GAN: 面向条件图像生成的持续学习

本文研究了生成模型中的终身学习问题，提出了一种使用知识蒸馏的解决方案，可以在保持之前任务能力不变的同时完成新的任务，该方法适用于不同的有条件图像生成设置。

Jul, 2019

终身生成建模

本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

May, 2017

深度生成回放的持续学习

本文提出一种新的深度学习框架 Deep Generative Replay 来解决在实现万能人工智能时的一个长期问题：灾难性遗忘。通过引入灵感于灵长类大脑海马体的短期记忆系统，在该框架中包含一个生成模型和一个任务求解模型，并在图像分类任务中进行了相关实验和测试。

May, 2017

Prompt Conditioned VAE: 加强任务导向对话生命周期学习中的生成回放

本研究提出了一种基于条件 VAE 的新型 PCLL 方法，通过加入任务统计信息来增强生成式回放并引导伪样本生成，从而改善 LL 模型训练，实验证明相比其他竞争基线方法，PCLL 在建立 LL 模型方面表现显着优异。

Oct, 2022

终身教师 - 学生网络学习

提出了一种基于教师 - 学生网络框架的新型终身学习方法，利用生成对抗网络（GAN）实现教师模块，保留和回放以往学习数据库的概率表示，利用变分自编码器（VAE）实现学生模块，学习捕捉不同领域的连续和离散数据表征，并应用于监督、半监督和无监督培训。

Jul, 2021

记忆重播生成对抗网络：学习生成新类别图像而不遗忘

本文针对生成模型中的遗忘问题，提出了一种称作 Memory Replay GANs (MeRGANs) 的有条件生成对抗网络框架，通过集成记忆重现生成器来缓解前几类的遗忘，在 MNIST、SVHN 和 LSUN 数据集上的实验结果表明，该记忆重现方法能够生成较竞争力的图像，同时显著减轻遗忘的前几类。

Sep, 2018

跨域潜在同源的终身解缠结表示学习

本文提出了一种基于最小描述长度原则的变分自编码器算法，可以实现无监督表示学习，并可以自动检测数据分布的变化并为新知识分配足够的表示空间，同时保护以前学习的表示免于灾难性遗忘，该方法可以实现表示的分离，具有共享潜在特征的语义上有意义的特征，同时可以跨领域共享经验。

Aug, 2018