任务无关连续学习的编码器和集成方法

May, 2021

任务无关连续学习的编码器和集成方法

Encoders and Ensembles for Task-Free Continual Learning

Murray Shanahan, Christos Kaplanis, Jovana Mitrović

TL;DR使用对比自监督学习和集成模型的方法，构建一个架构，以有效地进行连续学习，同时避免灾难性遗忘，对多个基准测试问题进行评估并取得了优异的表现。

Abstract

We present an architecture that is effective for continual learning in an especially demanding setting, where task boundaries do not exist or are unknown, and where classes have to be learned online (with each example presented only once). To obtain good performance under these constra

continual learning online learning self-supervised learning catastrophic forgetting ensemble

发现论文，激发创造

基于编码器的终身学习

该论文引入了一种新的终身学习方案，其使用自编码器以保留以前任务的信息并控制新环境下的功能调整，从而显著减少了任务遗忘率。

Apr, 2017

EEC: 学习图像编码和再生，用于持续学习

使用自动编码器和神经风格转移的方法来解决持续学习中的灾难性遗忘和存储数据的内存限制问题，并取得了比最先进方法更高的分类准确率和更少的存储空间。

Jan, 2021

利用类别编码器学习判别特征

本论文根据对深度神经网络训练过程的观察，提出了 class-encoder 的形式化表述方法，它结合了自动编码器（auto-encoders）和 softmax 函数进行监督训练，以降低类别内部的特征空间变异性，提高人脸识别模型的分类性能。

May, 2016

单模型之外的持续学习

通过实验验证，本研究探讨了在连续学习过程中使用集成模型的优缺点，提出了一个计算简单、性能优良的算法来解决集成模型带来的高计算成本问题，并解决了连续学习中的遗忘问题。

Feb, 2022

自我监督训练增强在线连续学习

本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

Mar, 2021

将编码的回放作为概念进行持续学习存储

提出了一种新型认知启发式方法，该方法使用神经风格转移训练自编码器进行图像编码和存储，通过重放编码图像来解决连续学习中的灾难性遗忘问题，在分类器训练期间生成伪图像来解决内存限制问题，从而有效提高分类准确率并降低存储空间。

Jun, 2020

低数据迁移学习的深度集成

本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

Oct, 2020

液体集成选择用于持续学习

连续学习旨在使机器学习模型能够在数据分布不断变化的情况下不忘记已学知识。通过训练集合中的每个成员于不同相关子集，使整个集合相比于单纯模型能够获得更高准确率且遗忘更少的问题。我们解决了在给定数据上选择哪些模型应该学习，哪些模型应该进行预测的问题。通过借鉴委托投票的工作，我们开发了一种用于动态选择集合中活动模型的委托算法。我们探讨了各种委托方法和性能指标，最终发现在面对分布变化时，委托能够显著提高性能，优于单纯学习。

May, 2024

半监督学习的时间集成

本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

Oct, 2016

带掩码的自编码器是高效的连续联邦学习器

本文探讨了在分布式环境下进行联邦持续学习的问题，通过利用共享表示和利用非特定任务的经验进行间接知识转移，提出采用遮蔽自编码器进行分布估计，以在客户端之间实现选择性知识转移。

Jun, 2023