Feb, 2020

任务鲁棒的模型无关元学习

PDF
TL;DR本文提出了一种新的元学习方法，通过解决 min-max 问题以最小化观测到的元训练任务的最大损失，可以实现任务健壮性，从而在元训练和元测试之间的任务分布变化时，都能表现出色。
meta-learningtask-robustnessmodel-agnostic meta-learningworst-case task performancemin-max problem
发现论文，激发创造
  • 模型无关元学习算法的泛化：循环和未见任务

    本文研究了超模型学习中的 MAML 算法在监督学习问题的推广性质，探讨了训练 MAML 模型的任务和样本数量对其推广误差的影响。我们提出了一种新的稳定性定义，从而捕捉了任务数和每个任务样本数对 MAML 推广误差的作用。

    Feb, 2021

  • 模型无关元学习中的快速对抗性鲁棒性适应

    提出了一种基于元学习的小样本学习框架，通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性，在此基础上，提出了一个通用的鲁棒性正则化的元学习框架，可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外，引入辅助对比学习任务进一步提高了模型的鲁棒性。

    Feb, 2021

  • 面向 Few-shot Learning 的任务无关元学习

    本文提出了一种基于熵和不等式优化的任务不可知元学习算法，可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题，并在少量分类和强化学习任务中表现优异。

    May, 2018

  • 基于模型的对抗元强化学习

    本文提出了一种基于模型的对抗元强化学习算法 (Model-based Adversarial Meta-Reinforcement Learning)，通过最小化所有任务中最劣情况的次优差异 (sub-optimality gap)，以及使用最大化次优性策略的对抗任务找到最优策略，以提高元强化学习算法在任务分布变化下的泛化能力和性能效率，试验表明该算法具有优异性能。

    Jun, 2020

  • 增强元学习范式的简单而有效策略

    元学习是一种有前途的范式，可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程，并用预期尾风险的度量来元训练模型，提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。

    Oct, 2023

  • 多步模型无关元学习的理论收敛性

    该论文提出了一个新的理论框架，以提供关于 MAML 算法在两种实际感兴趣的目标函数（重新采样情况和有限和情况）下收敛性的保证，并表征了在非凸情况下实现多步 MAML 的计算复杂度和收敛速率，建议内部阶段步长应选择与内部阶段步数 N 成反比来保证 N 步 MAML 有保证的收敛性，从技术上讲，它们开发了处理多步 MAML 的元梯度嵌套结构的新技术。

    Feb, 2020

  • 通过任务感知调节的多模态模型无关元学习

    本文介绍了一种增强的 MAML 框架，该框架能够在多模态任务分布中识别任务模式并通过梯度更新快速适应，从而更有效地进行元学习，同时在回归、图像分类和强化学习等多种领域中进行了实验验证。

    Oct, 2019

  • 关于模型无关元学习的全局最优性

    通过一级优化解决每个子任务并通过二级优化确定最优先前信息的模型无关元学习 (MAML) 被证明在非凸元目标上有全局最优性，其与内部目标的函数几何性和函数逼近器的表示能力有关。

    Jun, 2020

  • 多模态模型无关元学习

    本文提出了一种基于多模态任务分布的 adaptative meta-learning 算法，并采用该算法来识别各种从多模态分布中采样的任务，以更快速地实现适应。结果表明该算法对于计算机视觉、强化学习和回归等多种任务领域都具有普适性。

    Dec, 2018

  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019