基于超网络的贝叶斯 MAML 方法
提出了 HyperMAML,这是 Model-Agnostic Meta-Learning 的一种新型泛化方法,其训练的更新过程也是模型的一部分,通过可训练的 Hypernetwork 来更新权重,超越了 MAML 并在标准 Few-Shot 学习基准测试中表现出色。
May, 2022
在 Few-shot classification 这个问题上,我们探究了如何训练 MAML 表现得更美好,发现 MAML 需要大量的梯度步骤才能适应少样本分类,敏感于试验时分类标签的赋值,本文提供了多种方法解决其排列不变性。我们命名为 UNICORN-MAML 的方法在 MiniImageNet 和 TieriImageNet 等基准数据集上表现良好,并与许多最新的少样本分类算法不相上下,而不损失 MAML 的简单性。
Jun, 2021
本文提出了一种新颖的元学习算法 NestedMAML,该算法可以学习分配给每个训练任务或实例的权重,并在元训练阶段应用,从而有效地缓解了不想要的任务或实例的影响,比现有的元学习算法都更鲁棒。
Nov, 2020
模型无关元学习(MAML)和其变体往往采用简单损失函数进行学习,为了更好地泛化,我们提出了一种新的元学习框架 MeTAL,其中损失函数适应于每个任务。
Oct, 2021
本文提出一种在没有访问元培训练集的情况下,利用预训练 MAML 检查点来解决新的 few-shot 分类任务的方法,通过结合对抗训练和基于不确定性的步长适应,以及对算法进行改进,在 SGD 和 Adam 优化器上,在同一领域和跨领域基准测试中优于 “基准” MAML,并表现出对基础步长的选择具有更好的鲁棒性。
Mar, 2021
本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案,以消除 MAML 训练超参数调整的需要并提高其稳定性,实验结果表明其对于 Omniglot 数据库的效果有显著的提升。
May, 2019
本文提出一种新的贝叶斯模型无关元学习方法,结合可伸缩的基于梯度的元学习和非参数变分推断,通过一个有原则的概率框架去学习复杂的不确定性结构,并且在 meta-update 时使用鲁棒的贝叶斯 meta-update 机制防止过拟合。此方法在各种任务中展现了准确性和鲁棒性。
Jun, 2018
本文提出了一种基于熵和不等式优化的任务不可知元学习算法,可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题,并在少量分类和强化学习任务中表现优异。
May, 2018
该论文提出了一种概率元学习算法,能够从模型分布中采样模型,并且在模型适应新任务时注入噪声来减少任务模糊性,实验结果表明,该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器,并且阐述了如何利用对模糊性的推理来解决活跃学习问题。
Jun, 2018