本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。

Jan, 2022

本研究提出了一种基于条件 VAE 的新型 PCLL 方法，通过加入任务统计信息来增强生成式回放并引导伪样本生成，从而改善 LL 模型训练，实验证明相比其他竞争基线方法，PCLL 在建立 LL 模型方面表现显着优异。

Oct, 2022

该论文引入了一种新的终身学习方案，其使用自编码器以保留以前任务的信息并控制新环境下的功能调整，从而显著减少了任务遗忘率。

Apr, 2017

深度生成神经网络（如变分自动编码器）与大型语言模型相结合，得到了更好的文本生成控制，并在各种任务中表现出了优于现有模型的性能。

Dec, 2023

该研究提出了一种称为长期 VAE（L-VAE）的方法，通过使用多输出加性高斯过程（GP）先验来扩展 VAE 的能力，从而实现在辅助协变量信息的约束下学习结构化低维表示， 以及导出了一种新的 KL 离散度上界。该方法可以同时适应时间变化的共享和随机效应，产生结构化低维表示，剥离个体协变量或其相互作用的影响，以及实现高度准确的预测性能。

Jun, 2020

本文提出了一种使用正则化方法处理 Variational Recurrent Autoencoder 中 latent variables 过于随意造成的语言模型崩溃问题，将额外约束限制在 VRAE 的 latent variables 的后验概率分布中，使得模型能够准确地控制 KL 项和重构项之间的权衡，并学习到更加密集和有意义的 latent representations。实验表明，该方法优于多个强力 baseline，且不需要使用其他 KL 退火策略，能够学到可解释的 latent variables 并生成多样化和有意义的句子。

May, 2019

LAMOL 是一种基于语言建模的简单而有效的终身语言学习方法，使模型能够解决并生成训练样本，可以在没有额外内存或模型容量的情况下重新播放以前任务的伪样本以预防灾难性遗忘，并以显著优于早期方法的优势表现出色，仅比多任务差 2-3％作为终身学习的上限。

Sep, 2019

本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

May, 2017

研究了通过预训练语言模型进行机器人的语言描述，在简单的物体操作场景下，实现了机器人行为和语言描述的双向绑定，并提出使用所提供的 PVAE-BERT 模型可以在真实场景中用于实现人机交互的指令。

Jan, 2022

本论文提出了一种新颖的终身学习方法 L-VAEGAN，它不仅具有强大的生成重放网络，还学习有意义的潜在表征，并能够自动将与不同领域相关的信息嵌入到潜在空间的多个聚类中，捕获不同数据域之间的语义相关的共享潜在变量，支持许多传统的生成重放方法所不支持的下游任务，包括不同数据域之间的内插和推理。

Jul, 2020