本文提出一种新的贝叶斯模型无关元学习方法,结合可伸缩的基于梯度的元学习和非参数变分推断,通过一个有原则的概率框架去学习复杂的不确定性结构,并且在 meta-update 时使用鲁棒的贝叶斯 meta-update 机制防止过拟合。此方法在各种任务中展现了准确性和鲁棒性。
Jun, 2018
使用 MAML 算法作为案例,研究了元学习中潜在的数据泄漏问题,并提出了针对任务数据的成员推断攻击,以及用于保护任务数据隐私和防止攻击的噪声注入方法。实验证明了这些攻击对 MAML 的有效性以及适当的噪声注入方法在对抗这些攻击中的功效。
Jun, 2024
本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案,以消除 MAML 训练超参数调整的需要并提高其稳定性,实验结果表明其对于 Omniglot 数据库的效果有显著的提升。
May, 2019
本文探讨了如何使用 Bayesian 模型和梯度下降进行 meta-learning,通过 MAML 算法应用到复杂的函数逼近器上,进一步提升了算法的性能,并利用近似推断和曲率估计技术提出了改进措施。
Jan, 2018
提出了一种基于元学习的小样本学习框架,通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性,在此基础上,提出了一个通用的鲁棒性正则化的元学习框架,可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外,引入辅助对比学习任务进一步提高了模型的鲁棒性。
Feb, 2021
本文研究了超模型学习中的 MAML 算法在监督学习问题的推广性质,探讨了训练 MAML 模型的任务和样本数量对其推广误差的影响。我们提出了一种新的稳定性定义,从而捕捉了任务数和每个任务样本数对 MAML 推广误差的作用。
本文提出了针对模型无关元学习(MAML)进行各种修改的方法,提出了 MAML++,它稳定了系统,并大大提高了 MAML 的泛化性能、收敛速度和计算开销。
Oct, 2018
本文提出了一种新的元学习方法,通过解决 min-max 问题以最小化观测到的元训练任务的最大损失,可以实现任务健壮性,从而在元训练和元测试之间的任务分布变化时,都能表现出色。
Feb, 2020
该论文提出了一个新的理论框架,以提供关于 MAML 算法在两种实际感兴趣的目标函数(重新采样情况和有限和情况)下收敛性的保证,并表征了在非凸情况下实现多步 MAML 的计算复杂度和收敛速率,建议内部阶段步长应选择与内部阶段步数 N 成反比来保证 N 步 MAML 有保证的收敛性,从技术上讲,它们开发了处理多步 MAML 的元梯度嵌套结构的新技术。
通过一级优化解决每个子任务并通过二级优化确定最优先前信息的模型无关元学习 (MAML) 被证明在非凸元目标上有全局最优性,其与内部目标的函数几何性和函数逼近器的表示能力有关。
Jun, 2020