Sep, 2020

高斯过程的信息论元学习

PDF
TL;DR利用相互信息和信息瓶颈的概念对元学习进行了建模，提出了一种通用的可行的框架，用于学习任务描述的随机表示或编码，该表示对于预测验证集具有高度的信息量，并开发了一种基于记忆的算法，用于少样本分类问题的研究。
meta learningmutual informationinformation bottleneckvariational approximationsfew-shot classification
发现论文，激发创造
  • 带潜在变量高斯过程的元强化学习

    利用层级潜变量模型，自动推断任务之间的关系并应用于模型强化学习中，从而实现在小规模数据集上的元学习，有效提高数据利用率，解决新任务的平均交互时间缩短高达 60%。

    Mar, 2018

  • 元学习及其应用的信息论泛化界限

    本文介绍了信息论方面的上界计算方法，应用于两种广义的元学习算法（MAML、Reptile）中，使用互信息和个体任务互信息界限来提高元泛化间隙的精度。

    May, 2020

  • 高斯过程的元学习均值函数

    在短缺数据情况下，为贝叶斯机器学习模型提供适当的先验知识是主要挑战。最近元学习的进展提供了从相关任务中获得这些先验知识的强大方法。本文探索了高斯过程先验的平均函数元学习，提供了分析和经验证据表明均值函数的学习对于元学习是有用的，讨论了过拟合的风险，并与其他元学习方法进行了联系，如模型无关元学习和函数 PCA。

    Jan, 2019

  • 高效可拓展的高斯过程元学习

    在这篇论文中，我们开发了一种可扩展的基于高斯过程的模块化元学习模型 ScaML-GP，其中的核心贡献是一个经过精心设计的多任务核函数，它实现了层次化训练和任务的可扩展性。通过在元数据上对 ScaML-GP 进行条件化，我们揭示了其模块化特性，得到一个结合了元任务高斯过程后验的测试任务先验。在合成和真实世界的元学习实验中，我们证明了 ScaML-GP 可以在少量和大量元任务中高效学习。

    Dec, 2023

  • 基于贝叶斯主动学习的分类和偏好学习

    通过使用预测熵计算信息增益，我们提出了一种方法来优化高斯过程分类器的主动学习，同时也将其扩展到高斯过程偏好学习，相比其他主动学习和决策理论方法，我们的方法可以在相等或更低的计算复杂度下获得相同的实验性能。

    Dec, 2011

  • 学习算法泛化能力的信息论分析

    本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

    May, 2017

  • 变分推断在模型无关元学习中的不确定性

    本文提出了一种新的、严谨的贝叶斯元学习算法，用于学习少样本学习的模型参数先验的概率分布。该算法采用基于梯度的变分推断来推断模型参数的后验分布。我们展示了使用我们提出的元学习算法训练的模型具有良好的校准和准确性，在两个少样本分类基准测试（Omniglot 和 Mini-ImageNet）上取得了最新的校准和分类结果，并在多模式任务分布回归中获得了有竞争力的结果。

    Jul, 2019

  • 具有统计保证的增量学习 - to-learn

    研究了如何针对来自未知元分布的任务类别推断出学习算法，并提出了学习正半定矩阵参数化的岭回归算法，通过应用随机策略来降低岭回归引入的经验错误，以实现在线学习，提高模型性能和泛化性能。

    Mar, 2018

  • 基于经验贝叶斯的合成梯度传递元学习

    通过元学习方法在转导式环境中学习多个任务，通过使用未标记的查询集合生成更强大的模型来解决多任务学习中的问题，并提出了一种合成梯度网络和初始化网络组成的新型变分推理方法，优于以前的方法，并进一步探索了合成梯度的潜力。

    Apr, 2020

  • 贝叶斯模型无关元学习

    本文提出一种新的贝叶斯模型无关元学习方法，结合可伸缩的基于梯度的元学习和非参数变分推断，通过一个有原则的概率框架去学习复杂的不确定性结构，并且在 meta-update 时使用鲁棒的贝叶斯 meta-update 机制防止过拟合。此方法在各种任务中展现了准确性和鲁棒性。

    Jun, 2018