Oct, 2023

贝叶斯主动元学习的基本困境

PDF
TL;DR贝叶斯主动元学习是一种序列最优实验设计的框架，旨在解决多个不同但相关的数据稀缺任务环境中参数估计的问题，然而，在某些情况下，贪婪追求传递性知识可以损害可转移参数的估计，引起所谓的负转移。
bayesian active meta-learningsequential optimal experimental designtransferable knowledgenegative transfertask identification
发现论文，激发创造
  • 概率主动元学习

    这篇论文提出了一种基于概率潜变量模型的任务选择方法，将任务的先前经验引入到元学习算法中，以提高元学习的数据效率，并在机器人实验中获得了实证证据。

    Jul, 2020

  • 贝叶斯优化中的迁移学习元学习获取函数

    本文提出了一种基于元学习和高斯过程的贝叶斯优化具有自定义优化器的方法，通过将来自相关任务的信息进行转移学习，实现对目标函数的数据高效优化。

    Apr, 2019

  • 学习平衡：用贝叶斯元学习解决不平衡和越界任务

    本文提出了一种新型元学习模型，在每个任务中自适应平衡元学习和任务特定学习的效果，并将其制定为贝叶斯推理框架，在多个现实的任务和课程不平衡的数据集上验证了其有效性。

    May, 2019

  • 通过学习学习算法实现更灵活的 PAC-Bayesian 元学习

    我们介绍了一个新的框架，使用 PAC-Bayesian 理论来研究元学习方法。该框架相比以往的工作的主要优势在于它允许在任务之间的知识转移方面更加灵活。我们的框架的灵活性使其适用于分析广泛范围的元学习机制，甚至设计新的机制。除了理论贡献外，我们还通过经验证明我们的框架提高了实际元学习机制的预测质量。

    Feb, 2024

  • MALIBO: 元学习用于无似然贝叶斯优化

    提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。

    Jul, 2023

  • 基于扩展 PAC-Bayes 理论调整先验知识的元学习

    提出了基于一般化误差界的元学习框架，通过构建学习任务的假设分布，并在新任务上使用以经验为依据的先验知识进行学习，我们可以在捕捉学习任务公共结构的同时保证学习者灵活地适应新任务的不同方面，通过深度神经网络的数值实验来证明元学习的基于梯度的算法的有效性，并演示了在网络不同层次上体现先验信息的直观方式。

    Nov, 2017

  • 贝叶斯模型无关元学习

    本文提出一种新的贝叶斯模型无关元学习方法，结合可伸缩的基于梯度的元学习和非参数变分推断，通过一个有原则的概率框架去学习复杂的不确定性结构，并且在 meta-update 时使用鲁棒的贝叶斯 meta-update 机制防止过拟合。此方法在各种任务中展现了准确性和鲁棒性。

    Jun, 2018

  • 概率模型无关元学习

    该论文提出了一种概率元学习算法，能够从模型分布中采样模型，并且在模型适应新任务时注入噪声来减少任务模糊性，实验结果表明，该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器，并且阐述了如何利用对模糊性的推理来解决活跃学习问题。

    Jun, 2018

  • 超越贝叶斯最优性：元学习你所知道的但你不知道的

    通过改进元学习算法，我们展示了贝叶斯最优性之外风险和歧义敏感性同样可以作为数值优化问题的解出现，并在决策实验中通过实验验证了我们的提议。

    Sep, 2022

  • 面向 Few-shot Learning 的任务无关元学习

    本文提出了一种基于熵和不等式优化的任务不可知元学习算法，可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题，并在少量分类和强化学习任务中表现优异。

    May, 2018