本研究提出了一个参数高效的框架,Piggyback GAN,通过将上一个任务训练的模型的滤波器分解来学习当前任务,解决了现代深度神经网络的大规模遗忘问题,并在不同领域的各种图像生成任务上进行了验证。
Apr, 2021
本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法,通过引入一种新的跨模型正则化器,以减少神经网络在连续学习情况下面临的灾难性干扰,并在多个数据集上验证了其性能。
May, 2017
本文介绍了一种连续学习的分类模型,可以防止神经网络在逐个学习任务时出现 catastrophic forgetting。作者通过扩展已有技术,并提出了一种新的变分下界方法,使得神经网络在连续学习中可以同时保持之前学到的知识。
Oct, 2018
通过减少灾难性遗忘,本研究将最新工作应用于在一系列不同分布的序列上训练生成对抗网络并实现连续生成建模。
本研究利用变分自编码器(vae)设计了一种高效有效的终身生成模型,通过扩展 vae 的内在重构特性到历史知识保留,开发了一种反馈策略来减轻错误积累,实验结果验证了该方法在终身生成任务中的有效性。
Jan, 2022
为解决生命周期学习中的灾难性遗忘问题,提出了一种基于生成式对抗网络记忆的方法,通过形成视觉上差异化的目标生成来记忆数据流,实现无遗忘学习。该方法通过基于先前任务的信息前向传递和调制来体现生命周期学习,证明了其在生命周期分类问题上相对于现有方法的优越性和有效性。
Jun, 2020
提出了一种名为 LFS-GAN 的框架,用于解决在终身少样本图像生成任务中遇到的灾难性遗忘和过拟合问题,并通过引入 LeFT 和模式寻求损失方法实现了高质量、多样性图像生成,成为同领域的最新研究成果。
Aug, 2023
本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案,并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明,在使用动态内存单元的条件下,该方案在处理硬任务学习方面具有很高的性能增长。
Nov, 2018
提出了一种基于教师 - 学生网络框架的新型终身学习方法,利用生成对抗网络(GAN)实现教师模块,保留和回放以往学习数据库的概率表示,利用变分自编码器(VAE)实现学生模块,学习捕捉不同领域的连续和离散数据表征,并应用于监督、半监督和无监督培训。
Jul, 2021
终身学习对于人类和动物至关重要,然而,在机器学习和神经网络模型中,随着不断获取非静态数据分布的信息,由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结,并比较了现有神经网络方法的差异。
Feb, 2018