ICMLOct, 2018

元学习快速上下文适应

PDF
TL;DR提出了 CAVIA 以进行元学习，这是 MAML 的一种简单扩展，它不容易出现元过拟合，易于并行化，并且更易于解释。CAVIA 将模型参数分成两个部分：服务于模型的上下文参数在个别任务上进行调整，并且共享参数进行元培训并跨任务共享。实验证明，CAVIA 在回归，分类和强化学习方面优于 MAML。我们的实验还突出显示了当前基准测试的弱点，在某些情况下需要适应的量很小。
caviameta-learningmamlcontext parametersshared parameters
发现论文，激发创造
  • 自适应超参数的元学习

    本文提出了一种自适应的方法 (ALFA)，在元学习 (MAML) 的框架下增强了快速适应过程，使用该方法可以从随机初始化中实现快速适应，且超越了 MAML 的表现，同时实验结果证明了超参数的自适应学习是近期少样本学习方法中同样重要的组成部分。

    Oct, 2020

  • 通过任务感知调节的多模态模型无关元学习

    本文介绍了一种增强的 MAML 框架，该框架能够在多模态任务分布中识别任务模式并通过梯度更新快速适应，从而更有效地进行元学习，同时在回归、图像分类和强化学习等多种领域中进行了实验验证。

    Oct, 2019

  • 基于语言模型上下文调整的元学习

    通过将调整和预测转化为简单的序列预测问题，我们提出了 'in-context tuning' 方式来解决 NLP 中的元学习问题，并在两个文本分类任务组合上对其进行了基准测试。在所有模型尺寸上，相对于梯度下降调整模型的一阶 MAML，我们的方法更好地利用了 LM 的归纳偏差，在 BinaryClfs 上绝对 AUC ROC 评分提高了 6％。与不调优的 'in-context learning' 相比较，'in-context tuning' 直接通过元训练从 'in-context' 中学习。在 BinaryClfs 上，'in-context tuning' 将平均 AUC-ROC 分数提高了 10％，并且减少了关于示例顺序的方差 6 倍，示例选择 2 倍。

    Oct, 2021

  • MAML-en-LLM：模型不可知的元训练 LLMs 对于改进上下文学习

    我们提出了 MAML-en-LLM，一种新的元训练大型语言模型的方法，可以学习到真正可泛化的参数，不仅在不同任务上表现良好，还适应了未知任务，并且在性能和适应性能上得到了显著提升。

    May, 2024

  • 如何训练你的 MAML

    本文提出了针对模型无关元学习（MAML）进行各种修改的方法，提出了 MAML++，它稳定了系统，并大大提高了 MAML 的泛化性能、收敛速度和计算开销。

    Oct, 2018

  • CMVAE：用于无监督元学习的因果元 VAE

    本文提出了一种基于结构因果模型的无监督元学习算法，通过对先验概率条件独立性的定义和介入进行隐变量消除，提出了 Causal Meta VAE 算法，能够成功消除训练数据中的上下文偏差，并在少样本图像分类任务中取得了优越的性能表现。

    Feb, 2023

  • 多模态模型无关元学习

    本文提出了一种基于多模态任务分布的 adaptative meta-learning 算法，并采用该算法来识别各种从多模态分布中采样的任务，以更快速地实现适应。结果表明该算法对于计算机视觉、强化学习和回归等多种任务领域都具有普适性。

    Dec, 2018

  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019

  • 模型无关元学习中的快速对抗性鲁棒性适应

    提出了一种基于元学习的小样本学习框架，通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性，在此基础上，提出了一个通用的鲁棒性正则化的元学习框架，可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外，引入辅助对比学习任务进一步提高了模型的鲁棒性。

    Feb, 2021

  • LiMAML: 通过元学习个性化深度推荐模型

    通过深度神经网络和元学习算法，该研究论文提出了一种个性化推荐系统的创新解决方案，能够根据最新的用户交互信号进行模型更新并在在线推荐系统上高效部署，从而实现高度个性化的 AI 模型的部署和对应业务指标的显著改进。

    Feb, 2024