本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案,以消除 MAML 训练超参数调整的需要并提高其稳定性,实验结果表明其对于 Omniglot 数据库的效果有显著的提升。
May, 2019
本文提出了一种新颖的元学习算法 NestedMAML,该算法可以学习分配给每个训练任务或实例的权重,并在元训练阶段应用,从而有效地缓解了不想要的任务或实例的影响,比现有的元学习算法都更鲁棒。
Nov, 2020
本文提出了针对模型无关元学习(MAML)进行各种修改的方法,提出了 MAML++,它稳定了系统,并大大提高了 MAML 的泛化性能、收敛速度和计算开销。
Oct, 2018
在 Few-shot classification 这个问题上,我们探究了如何训练 MAML 表现得更美好,发现 MAML 需要大量的梯度步骤才能适应少样本分类,敏感于试验时分类标签的赋值,本文提供了多种方法解决其排列不变性。我们命名为 UNICORN-MAML 的方法在 MiniImageNet 和 TieriImageNet 等基准数据集上表现良好,并与许多最新的少样本分类算法不相上下,而不损失 MAML 的简单性。
Jun, 2021
利用剖析和潜在特征表示的分析研究,探讨了 MAML 算法是否效果显著取决于元初始化的能力还是特征重用的质量,结果显示后者更具重要性,因此提出了一个新算法 ANIL,在除了 MAML 训练网络的 (特定任务的) 头部外,移除了所有内部循环,并且在少量样本图像分类和 RL 方面,ANIL 与 MAML 的性能相当,并且具有计算上的改进。
Sep, 2019
CML 是一种合作元学习框架,它通过向模型梯度中注入可学习的噪声进行模型泛化,而且引入无内部更新但有外部循环更新的合作学习者来增强梯度以获得更好的元初始化参数。CML 适用于梯度为基础的元学习方法,在少样本回归、少样本图像分类和少样本节点分类任务中表现出更好的性能。
Jun, 2024
提出了一种基于元学习的小样本学习框架,通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性,在此基础上,提出了一个通用的鲁棒性正则化的元学习框架,可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外,引入辅助对比学习任务进一步提高了模型的鲁棒性。
Feb, 2021
提出了 HyperMAML,这是 Model-Agnostic Meta-Learning 的一种新型泛化方法,其训练的更新过程也是模型的一部分,通过可训练的 Hypernetwork 来更新权重,超越了 MAML 并在标准 Few-Shot 学习基准测试中表现出色。
May, 2022
通过一级优化解决每个子任务并通过二级优化确定最优先前信息的模型无关元学习 (MAML) 被证明在非凸元目标上有全局最优性,其与内部目标的函数几何性和函数逼近器的表示能力有关。
Jun, 2020
本文提出了一种基于多模态任务分布的 adaptative meta-learning 算法,并采用该算法来识别各种从多模态分布中采样的任务,以更快速地实现适应。结果表明该算法对于计算机视觉、强化学习和回归等多种任务领域都具有普适性。
Dec, 2018