模型无关元学习算法的泛化：循环和未见任务

Feb, 2021

模型无关元学习算法的泛化：循环和未见任务

Generalization of Model-Agnostic Meta-Learning Algorithms: Recurring and Unseen Tasks

Alireza Fallah, Aryan Mokhtari, Asuman Ozdaglar

TL;DR本文研究了超模型学习中的 MAML 算法在监督学习问题的推广性质，探讨了训练 MAML 模型的任务和样本数量对其推广误差的影响。我们提出了一种新的稳定性定义，从而捕捉了任务数和每个任务样本数对 MAML 推广误差的作用。

Abstract

In this paper, we study the generalization properties of Model-Agnostic Meta-Learning (MAML) algorithms for supervised learning problems. We focus on the setting in which we train the MAML model over $m$ tasks, each with $n$ data points, and characterize its →

model-agnostic meta-learning supervised learning generalization error algorithmic stability task

发现论文，激发创造

任务鲁棒的模型无关元学习

本文提出了一种新的元学习方法，通过解决 min-max 问题以最小化观测到的元训练任务的最大损失，可以实现任务健壮性，从而在元训练和元测试之间的任务分布变化时，都能表现出色。

Feb, 2020

关于模型无关元学习的全局最优性

通过一级优化解决每个子任务并通过二级优化确定最优先前信息的模型无关元学习 (MAML) 被证明在非凸元目标上有全局最优性，其与内部目标的函数几何性和函数逼近器的表示能力有关。

Jun, 2020

多步模型无关元学习的理论收敛性

该论文提出了一个新的理论框架，以提供关于 MAML 算法在两种实际感兴趣的目标函数（重新采样情况和有限和情况）下收敛性的保证，并表征了在非凸情况下实现多步 MAML 的计算复杂度和收敛速率，建议内部阶段步长应选择与内部阶段步数 N 成反比来保证 N 步 MAML 有保证的收敛性，从技术上讲，它们开发了处理多步 MAML 的元梯度嵌套结构的新技术。

Feb, 2020

多模态模型无关元学习

本文提出了一种基于多模态任务分布的 adaptative meta-learning 算法，并采用该算法来识别各种从多模态分布中采样的任务，以更快速地实现适应。结果表明该算法对于计算机视觉、强化学习和回归等多种任务领域都具有普适性。

Dec, 2018

面向 Few-shot Learning 的任务无关元学习

本文提出了一种基于熵和不等式优化的任务不可知元学习算法，可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题，并在少量分类和强化学习任务中表现优异。

May, 2018

使用任务自适应损失函数的元学习用于小样本学习

模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

Oct, 2021

Alpha MAML：自适应模型无关元学习

本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

May, 2019

通过任务感知调节的多模态模型无关元学习

本文介绍了一种增强的 MAML 框架，该框架能够在多模态任务分布中识别任务模式并通过梯度更新快速适应，从而更有效地进行元学习，同时在回归、图像分类和强化学习等多种领域中进行了实验验证。

Oct, 2019

元学习中的隐私挑战：对模型无关元学习的调查

使用 MAML 算法作为案例，研究了元学习中潜在的数据泄漏问题，并提出了针对任务数据的成员推断攻击，以及用于保护任务数据隐私和防止攻击的噪声注入方法。实验证明了这些攻击对 MAML 的有效性以及适当的噪声注入方法在对抗这些攻击中的功效。

Jun, 2024

一个嵌套双层优化框架用于鲁棒性少样本学习

本文提出了一种新颖的元学习算法 NestedMAML，该算法可以学习分配给每个训练任务或实例的权重，并在元训练阶段应用，从而有效地缓解了不想要的任务或实例的影响，比现有的元学习算法都更鲁棒。

Nov, 2020