基于编码器的终身学习

Apr, 2017

Encoder Based Lifelong Learning

Amal Rannen Triki, Rahaf Aljundi, Mathew B. Blaschko, Tinne Tuytelaars

TL;DR该论文引入了一种新的终身学习方案，其使用自编码器以保留以前任务的信息并控制新环境下的功能调整，从而显著减少了任务遗忘率。

Abstract

This paper introduces a new lifelong learning solution where a single model is trained for a sequence of tasks. The main challenge that vision systems face in this context is catastrophic forgetting: as they tend

lifelong learning catastrophic forgetting autoencoders image classification state-of-the-art

发现论文，激发创造

基于知识重构的终身生成学习

本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。

Jan, 2022

终身生成建模

本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

May, 2017

专家门：基于网络专家的终身学习

本文介绍了一种基于 Expert 网络的终身学习模型，引入了一组门控自编码器在测试时将样本自动转发到相关专家，从而具有内在的内存效率和任务相关性。并使用图像分类和视频预测问题进行了实验评估。

Nov, 2016

EEC: 学习图像编码和再生，用于持续学习

使用自动编码器和神经风格转移的方法来解决持续学习中的灾难性遗忘和存储数据的内存限制问题，并取得了比最先进方法更高的分类准确率和更少的存储空间。

Jan, 2021

任务无关连续学习的编码器和集成方法

使用对比自监督学习和集成模型的方法，构建一个架构，以有效地进行连续学习，同时避免灾难性遗忘，对多个基准测试问题进行评估并取得了优异的表现。

May, 2021

将编码的回放作为概念进行持续学习存储

提出了一种新型认知启发式方法，该方法使用神经风格转移训练自编码器进行图像编码和存储，通过重放编码图像来解决连续学习中的灾难性遗忘问题，在分类器训练期间生成伪图像来解决内存限制问题，从而有效提高分类准确率并降低存储空间。

Jun, 2020

面向终身学习训练循环神经网络

本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。

Nov, 2018

高效表示技术用于终身学习和自编码

本论文提出并提供了多种自然理论公式的有效算法，以解决在学习多个不同目标函数时，学习者可共享某些未知公共特征的问题，并且可以学习到捕捉这种共性的新的内部表示，以便更高效地学习和使用更少的数据。

Nov, 2014

受限内存下高效元生存学习

本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

Oct, 2020

终身教师 - 学生网络学习

提出了一种基于教师 - 学生网络框架的新型终身学习方法，利用生成对抗网络（GAN）实现教师模块，保留和回放以往学习数据库的概率表示，利用变分自编码器（VAE）实现学生模块，学习捕捉不同领域的连续和离散数据表征，并应用于监督、半监督和无监督培训。

Jul, 2021