元学习中的遗忘学习

CVPRJun, 2019

Learning to Forget for Meta-Learning

Sungyong Baik, Seokil Hong, Kyoung Mu Lee

TL;DRL2F method proposes task-and-layer-wise attenuation to reduce the influence of prior knowledge for faster adaptation and improved performance in few-shot learning tasks with neural networks.

Abstract

few-shot learning is a challenging problem where the goal is to achieve generalization from only few examples. model-agnostic meta-learning (MAML) tackles the problem by formulating prior knowledge as a common in

few-shot learning model-agnostic meta-learning task adaptation neural network learn to forget

发现论文，激发创造

使用任务自适应损失函数的元学习用于小样本学习

模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

Oct, 2021

如何训练你的 MAML

本文提出了针对模型无关元学习（MAML）进行各种修改的方法，提出了 MAML++，它稳定了系统，并大大提高了 MAML 的泛化性能、收敛速度和计算开销。

Oct, 2018

面向 Few-shot Learning 的任务无关元学习

本文提出了一种基于熵和不等式优化的任务不可知元学习算法，可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题，并在少量分类和强化学习任务中表现优异。

May, 2018

HyperMAML：用超级网络进行深度模型的少样本适应

提出了 HyperMAML，这是 Model-Agnostic Meta-Learning 的一种新型泛化方法，其训练的更新过程也是模型的一部分，通过可训练的 Hypernetwork 来更新权重，超越了 MAML 并在标准 Few-Shot 学习基准测试中表现出色。

May, 2022

基于超网络的贝叶斯 MAML 方法

本文提出了一种名为 BayesianHyperShot 的新方法，它是对 Bayesian MAML 的创新性推广。将贝叶斯原则与超网络结合使用，可更好地收敛于经典学习评估，并通过贝叶斯方法提高了适用性，并使用超网络实现高灵活性的任务自适应。

Oct, 2022

元学习先验在神经网络中减缓灾难性遗忘

本文提出了一种基于元学习的训练方式，通过序贯地训练神经网络来缓解深度学习中存在的灾难性遗忘问题。在此基础上，提出了 SeqFOMAML 算法，并在 Omniglot 和 MiniImageNet 上的分类任务数据集上进行了验证。

Sep, 2019

重新思考 Few-shot 视觉语言转换学习的任务抽样

提出了一种新的模型无关多任务微调算法（MAMF）并探究了任务抽样对于有效进行少样本学习的影响，表明 MAMF 在五个少样本视觉语言分类任务上表现比经典的微调更佳，旨在为少样本学习提供新的见解，并鼓励探究更好的任务抽样策略。

Mar, 2022

应对少样本问题中的灾难性遗忘

引入一种贝叶斯在线元学习框架来解决少样本分类问题中的灾难性遗忘问题，并通过实验验证与各种基线方法相比可以有效地实现该目标。

Apr, 2020

模型无关元学习中的快速对抗性鲁棒性适应

提出了一种基于元学习的小样本学习框架，通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性，在此基础上，提出了一个通用的鲁棒性正则化的元学习框架，可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外，引入辅助对比学习任务进一步提高了模型的鲁棒性。

Feb, 2021

复用预训练模型进行鲁棒的领域外少样本学习

本文提出一种在没有访问元培训练集的情况下，利用预训练 MAML 检查点来解决新的 few-shot 分类任务的方法，通过结合对抗训练和基于不确定性的步长适应，以及对算法进行改进，在 SGD 和 Adam 优化器上，在同一领域和跨领域基准测试中优于 “基准” MAML，并表现出对基础步长的选择具有更好的鲁棒性。

Mar, 2021