基于知识重构的终身生成学习

Jan, 2022

Lifelong Generative Learning via Knowledge Reconstruction

Libo Huang, Zhulin An, Xiang Zhi, Yongjun Xu

TL;DR本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。

Abstract

generative models often incur the catastrophic forgetting problem when they are used to sequentially learning multiple tasks, i.e., lifelong generative learning. Although there are some endeavors to tackle this p

generative models catastrophic forgetting problem lifelong generative learning variational autoencoder historical knowledge retention

发现论文，激发创造

终身生成建模

本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

May, 2017

基于编码器的终身学习

该论文引入了一种新的终身学习方案，其使用自编码器以保留以前任务的信息并控制新环境下的功能调整，从而显著减少了任务遗忘率。

Apr, 2017

使用终身 VAEGAN 跨多个数据领域学习潜在表示

本论文提出了一种新颖的终身学习方法 L-VAEGAN，它不仅具有强大的生成重放网络，还学习有意义的潜在表征，并能够自动将与不同领域相关的信息嵌入到潜在空间的多个聚类中，捕获不同数据域之间的语义相关的共享潜在变量，支持许多传统的生成重放方法所不支持的下游任务，包括不同数据域之间的内插和推理。

Jul, 2020

终身 GAN: 面向条件图像生成的持续学习

本文研究了生成模型中的终身学习问题，提出了一种使用知识蒸馏的解决方案，可以在保持之前任务能力不变的同时完成新的任务，该方法适用于不同的有条件图像生成设置。

Jul, 2019

终身教师 - 学生网络学习

提出了一种基于教师 - 学生网络框架的新型终身学习方法，利用生成对抗网络（GAN）实现教师模块，保留和回放以往学习数据库的概率表示，利用变分自编码器（VAE）实现学生模块，学习捕捉不同领域的连续和离散数据表征，并应用于监督、半监督和无监督培训。

Jul, 2021

使用动态扩展图模型的终身生成建模

本文研究了 VAEs 在学习多个任务时存在的知识遗忘问题，提出了使用 GR 和 ENA 方法的联合模型 DEGM。通过理论分析，我们发现 DEGM 得到了最佳表现，同时减少了所需参数的数量。

Dec, 2021

RVAE-LAMOL：用残差变分自编码器提升终身语言学习

利用残差变分自编码器（RVAE）将不同任务映射为有限的统一语义空间，系统地提出一种新的方法 —— 交替差分训练，以解决 LLMOL 遗忘的问题，并通过对 DecaNLP 三个数据集的排列进行实验，证明 RVAE-LAMOL 优于单纯的 LAMOL，并生成更有意义的伪样本。

May, 2022

Piggyback GAN：基于图像的生成任务的高效生命周期学习

本研究提出了一个参数高效的框架，Piggyback GAN，通过将上一个任务训练的模型的滤波器分解来学习当前任务，解决了现代深度神经网络的大规模遗忘问题，并在不同领域的各种图像生成任务上进行了验证。

Apr, 2021

在线合作记忆的连续变分自编码器学习

本研究提出了利用在线合作记忆框架（OCM）对变分自编码器（VAE）进行动态扩展混合网络的改进，以解决其在连续学习时的遗忘现象和图片生成的不足。使用 OCM 的短期记忆和长期记忆来存储和筛选样本，并结合动态 VAE，提高其后续多任务学习的性能。

Jul, 2022

Prompt Conditioned VAE: 加强任务导向对话生命周期学习中的生成回放

本研究提出了一种基于条件 VAE 的新型 PCLL 方法，通过加入任务统计信息来增强生成式回放并引导伪样本生成，从而改善 LL 模型训练，实验证明相比其他竞争基线方法，PCLL 在建立 LL 模型方面表现显着优异。

Oct, 2022