Piggyback GAN：基于图像的生成任务的高效生命周期学习

ECCVApr, 2021

Piggyback GAN：基于图像的生成任务的高效生命周期学习

Piggyback GAN: Efficient Lifelong Learning for Image Conditioned Generation

Mengyao Zhai, Lei Chen, Jiawei He, Megha Nawhal, Frederick Tung...

TL;DR本研究提出了一个参数高效的框架，Piggyback GAN，通过将上一个任务训练的模型的滤波器分解来学习当前任务，解决了现代深度神经网络的大规模遗忘问题，并在不同领域的各种图像生成任务上进行了验证。

Abstract

Humans accumulate knowledge in a lifelong fashion. Modern deep neural networks, on the other hand, are susceptible to catastrophic forgetting: when adapted to perform new tasks, they often fail to preserve their performance on previously learned tasks. Given a sequence of tasks, a naiv

neural networks catastrophic forgetting piggyback gan image generation parameter efficiency

发现论文，激发创造

终身 GAN: 面向条件图像生成的持续学习

本文研究了生成模型中的终身学习问题，提出了一种使用知识蒸馏的解决方案，可以在保持之前任务能力不变的同时完成新的任务，该方法适用于不同的有条件图像生成设置。

Jul, 2019

封闭循环记忆 GAN 用于连续学习

本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

Nov, 2018

基于知识重构的终身生成学习

本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。

Jan, 2022

LFS-GAN: 终身少样本图像生成

提出了一种名为 LFS-GAN 的框架，用于解决在终身少样本图像生成任务中遇到的灾难性遗忘和过拟合问题，并通过引入 LeFT 和模式寻求损失方法实现了高质量、多样性图像生成，成为同领域的最新研究成果。

Aug, 2023

任务感知增量学习的条件通道门控网络

该研究通过为卷积层添加任务特定的门控模块，并使用稀疏性目标促进对有限内核集的选择，提出了一种解决序列学习问题的新框架，实现了在没有任务标签信息的情况下的持续学习，该模型的准确度明显优于现有方法。

Mar, 2020

无遗忘的 GAN 记忆

为解决生命周期学习中的灾难性遗忘问题，提出了一种基于生成式对抗网络记忆的方法，通过形成视觉上差异化的目标生成来记忆数据流，实现无遗忘学习。该方法通过基于先前任务的信息前向传递和调制来体现生命周期学习，证明了其在生命周期分类问题上相对于现有方法的优越性和有效性。

Jun, 2020

基于编码器的终身学习

该论文引入了一种新的终身学习方案，其使用自编码器以保留以前任务的信息并控制新环境下的功能调整，从而显著减少了任务遗忘率。

Apr, 2017

自监督 GAN 抵御遗忘

本文介绍了如何通过自我监督方法对 GAN 模型中的鉴别器进行改进，以避免其出现遗忘现象，提高模型性能。

Oct, 2018

TinyGAN：基于 BigGAN 的有条件图像生成蒸馏

提出了一种基于黑盒知识蒸馏的 GAN 模型压缩方法，将 BigGAN 作为教师网络，用较少的参数训练学生网络以模拟其功能，有效地缩小模型规模并在图像生成方面取得了有竞争力的表现。

Sep, 2020

终身生成建模

本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

May, 2017