Feb, 2024

通过学习学习算法实现更灵活的 PAC-Bayesian 元学习

PDF
TL;DR我们介绍了一个新的框架，使用 PAC-Bayesian 理论来研究元学习方法。该框架相比以往的工作的主要优势在于它允许在任务之间的知识转移方面更加灵活。我们的框架的灵活性使其适用于分析广泛范围的元学习机制，甚至设计新的机制。除了理论贡献外，我们还通过经验证明我们的框架提高了实际元学习机制的预测质量。
发现论文，激发创造
  • 基于扩展 PAC-Bayes 理论调整先验知识的元学习

    提出了基于一般化误差界的元学习框架，通过构建学习任务的假设分布，并在新任务上使用以经验为依据的先验知识进行学习，我们可以在捕捉学习任务公共结构的同时保证学习者灵活地适应新任务的不同方面，通过深度神经网络的数值实验来证明元学习的基于梯度的算法的有效性，并演示了在网络不同层次上体现先验信息的直观方式。

    Nov, 2017

  • PAC-Bayesian 学习初探

    本文对 PAC-Bayes 框架及其主要理论和算法发展进行了自包含的调查研究。

    Jan, 2019

  • 一种用于终身学习的 PAC-Bayesian 边界

    本文从理论角度研究终身学习，提出了 PAC-Bayesian 泛化界限，得出了两种原则性的算法并取得了可与现有方法相媲美的结果。

    Nov, 2013

  • PACOH: PAC-Guarantees 贝叶斯优化元学习

    本文在 PAC-Bayesian 框架下进行理论分析，推导出元学习的新型广义界限，发展了一种 PAC-optimal 的元学习算法并在基学习器中应用高斯过程和贝叶斯神经网络，结果预测准确性和不确定性估计质量均达到了最佳性能。

    Feb, 2020

  • 具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

    用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

    Apr, 2024

  • 自适应基于梯度的元学习方法

    本文提出了一种理论框架来设计和理解实用的元学习方法，该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习，为统计学习 - to-learn 的转移风险提供更加精确的界限，并在任务环境动态变化或任务共享一定几何结构的情况下，导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法，并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。

    Jun, 2019

  • 元学习认知模型

    本研究综合了先前的工作，旨在建立一个关于 cognition 的 meta-learned 模型的研究计划，证明 meta-learning 可以用于构建 Bayes-optimal learning algorithms，实现对 cognitive theories 的更加广泛的范围的建模

    Apr, 2023

  • 贝叶斯模型无关元学习

    本文提出一种新的贝叶斯模型无关元学习方法，结合可伸缩的基于梯度的元学习和非参数变分推断，通过一个有原则的概率框架去学习复杂的不确定性结构，并且在 meta-update 时使用鲁棒的贝叶斯 meta-update 机制防止过拟合。此方法在各种任务中展现了准确性和鲁棒性。

    Jun, 2018

  • 贝叶斯主动元学习的基本困境

    贝叶斯主动元学习是一种序列最优实验设计的框架，旨在解决多个不同但相关的数据稀缺任务环境中参数估计的问题，然而，在某些情况下，贪婪追求传递性知识可以损害可转移参数的估计，引起所谓的负转移。

    Oct, 2023

  • 基于层次贝叶斯的梯度元学习重建

    本文探讨了如何使用 Bayesian 模型和梯度下降进行 meta-learning，通过 MAML 算法应用到复杂的函数逼近器上，进一步提升了算法的性能，并利用近似推断和曲率估计技术提出了改进措施。

    Jan, 2018