AAAIMar, 2023

可扩展贝叶斯元学习通过广义隐式梯度

PDF
TL;DR本论文提出了一种新的隐式贝叶斯元学习 (iBaML) 方法，通过交叉造用隐式微分的优点来控制常规显式梯度下降算法的可扩展性问题，并且这个方法可以扩展学习平均值，量化相关的不确定性，有效地解决了内部优化轨迹带来的设计复杂度限制。作者通过精确的误差界限和大量的数值测试来验证该方法。
meta-learningbayesian meta-learningimplicit differentiationoptimizationuncertainty quantification
发现论文，激发创造
  • 隐式梯度元学习

    本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

    Sep, 2019

  • 基于层次贝叶斯的梯度元学习重建

    本文探讨了如何使用 Bayesian 模型和梯度下降进行 meta-learning，通过 MAML 算法应用到复杂的函数逼近器上，进一步提升了算法的性能，并利用近似推断和曲率估计技术提出了改进措施。

    Jan, 2018

  • 基于经验贝叶斯的合成梯度传递元学习

    通过元学习方法在转导式环境中学习多个任务，通过使用未标记的查询集合生成更强大的模型来解决多任务学习中的问题，并提出了一种合成梯度网络和初始化网络组成的新型变分推理方法，优于以前的方法，并进一步探索了合成梯度的潜力。

    Apr, 2020

  • 贝叶斯模型无关元学习

    本文提出一种新的贝叶斯模型无关元学习方法，结合可伸缩的基于梯度的元学习和非参数变分推断，通过一个有原则的概率框架去学习复杂的不确定性结构，并且在 meta-update 时使用鲁棒的贝叶斯 meta-update 机制防止过拟合。此方法在各种任务中展现了准确性和鲁棒性。

    Jun, 2018

  • 高效可拓展的高斯过程元学习

    在这篇论文中，我们开发了一种可扩展的基于高斯过程的模块化元学习模型 ScaML-GP，其中的核心贡献是一个经过精心设计的多任务核函数，它实现了层次化训练和任务的可扩展性。通过在元数据上对 ScaML-GP 进行条件化，我们揭示了其模块化特性，得到一个结合了元任务高斯过程后验的测试任务先验。在合成和真实世界的元学习实验中，我们证明了 ScaML-GP 可以在少量和大量元任务中高效学习。

    Dec, 2023

  • 关于在一致性正规化中应用隐式元学习的训练

    通过对不同的 Hessian 逼近方法进行系统性比较分析，研究了隐式元训练在收敛点曲率估计方面的局限性以及其稳定性问题，并利用所得见解提出并评估了一种新型半监督学习算法，该算法通过培训 “信心网络” 来加权一致性正则化损失，提高了基准 FixMatch 效果。

    Oct, 2023

  • 贝叶斯元先学习：基于经验贝叶斯的方法

    本文提出了一种层次经验贝叶斯方法，以解决实际问题中面临的挑战，即缺乏信息先验和无法控制参数学习速率的问题。该方法从数据本身学习经验元先验，并将它们用于解耦 GLM 中的一阶和二阶特征的学习速率。作者将其应用于标准监督学习优化问题以及在线组合优化问题中，在实验中表现出了显著的改进。

    Feb, 2020

  • 从过去学习：基于贝叶斯图建模的持续元学习

    提出了一种新颖的连续元学习方法，使用贝叶斯图神经网络 (CML-BGNN) 将元学习数学公式化为一系列任务的连续学习，在图形上保留任务内部和任务之间的相关性，利用 Amortized inference networks 解决了图形初始化的拓扑不确定性，提高了 minImageNet 5-way 1-shot 分类任务的分类性能。

    Nov, 2019

  • 贝叶斯无模型元学习是否比无模型元学习可证明的更好？

    本文对元学习方法中的贝叶斯 MAML 进行了理论分析，发现在元测试中，相比于模型不可知元学习和隐式 MAML，贝叶斯 MAML 可以提供更低的元测试风险。

    Mar, 2022

  • 多任务学习中梯度聚合的贝叶斯不确定性

    使用贝叶斯推断的梯度聚合方法能够考虑梯度不确定性，提高多任务学习的性能表现。

    Feb, 2024