一个嵌套双层优化框架用于鲁棒性少样本学习
利用剖析和潜在特征表示的分析研究,探讨了MAML算法是否效果显著取决于元初始化的能力还是特征重用的质量,结果显示后者更具重要性,因此提出了一个新算法ANIL,在除了MAML训练网络的(特定任务的)头部外,移除了所有内部循环,并且在少量样本图像分类和RL方面,ANIL与MAML的性能相当,并且具有计算上的改进。
Sep, 2019
本文提出了一种自适应的方法(ALFA),在元学习(MAML)的框架下增强了快速适应过程,使用该方法可以从随机初始化中实现快速适应,且超越了MAML的表现,同时实验结果证明了超参数的自适应学习是近期少样本学习方法中同样重要的组成部分。
Oct, 2020
提出了一种基于元学习的小样本学习框架,通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性,在此基础上,提出了一个通用的鲁棒性正则化的元学习框架,可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外,引入辅助对比学习任务进一步提高了模型的鲁棒性。
Feb, 2021
本文提出一种在没有访问元培训练集的情况下,利用预训练MAML检查点来解决新的few-shot分类任务的方法,通过结合对抗训练和基于不确定性的步长适应,以及对算法进行改进,在SGD和Adam优化器上,在同一领域和跨领域基准测试中优于“基准”MAML,并表现出对基础步长的选择具有更好的鲁棒性。
Mar, 2021
在Few-shot classification这个问题上,我们探究了如何训练MAML表现得更美好,发现MAML需要大量的梯度步骤才能适应少样本分类,敏感于试验时分类标签的赋值,本文提供了多种方法解决其排列不变性。我们命名为 UNICORN-MAML 的方法在MiniImageNet和TieriImageNet等基准数据集上表现良好,并与许多最新的少样本分类算法不相上下,而不损失MAML的简单性。
Jun, 2021
模型无关元学习(MAML)和其变体往往采用简单损失函数进行学习,为了更好地泛化,我们提出了一种新的元学习框架 MeTAL,其中损失函数适应于每个任务。
Oct, 2021
本文提出了一种名为BayesianHyperShot的新方法,它是对Bayesian MAML的创新性推广。将贝叶斯原则与超网络结合使用,可更好地收敛于经典学习评估,并通过贝叶斯方法提高了适用性,并使用超网络实现高灵活性的任务自适应。
Oct, 2022
基于元学习框架,我们提出了一种端到端训练范式,通过整个训练集的信息与元学习训练范式相互增强,以解决少样本学习中训练成本高和性能欠佳的问题。而且,我们的框架是无模型偏见的,相比基准系统提升了约1%的性能。
Mar, 2024
CML是一种合作元学习框架,它通过向模型梯度中注入可学习的噪声进行模型泛化,而且引入无内部更新但有外部循环更新的合作学习者来增强梯度以获得更好的元初始化参数。CML适用于梯度为基础的元学习方法,在少样本回归、少样本图像分类和少样本节点分类任务中表现出更好的性能。
Jun, 2024
本研究解决了现有模型无关元学习(MAML)在训练和推理阶段的不稳定性和计算效率低的问题。提出的两种算法通过在函数空间中重新定义优化问题和调整任务损失权重,提高了MAML的收敛效率,显著提升了少样本学习和快速任务适应的性能,为元学习奠定了新的研究基础。
Nov, 2024