Feb, 2020

贝叶斯元先学习：基于经验贝叶斯的方法

PDF
TL;DR本文提出了一种层次经验贝叶斯方法，以解决实际问题中面临的挑战，即缺乏信息先验和无法控制参数学习速率的问题。该方法从数据本身学习经验元先验，并将它们用于解耦 GLM 中的一阶和二阶特征的学习速率。作者将其应用于标准监督学习优化问题以及在线组合优化问题中，在实验中表现出了显著的改进。
发现论文，激发创造
  • 模型平均中的元学习 PAC-Bayes 先验

    提出两种数据算法来获取适当的模型平均先验。

    Dec, 2019

  • 基于扩展 PAC-Bayes 理论调整先验知识的元学习

    提出了基于一般化误差界的元学习框架，通过构建学习任务的假设分布，并在新任务上使用以经验为依据的先验知识进行学习，我们可以在捕捉学习任务公共结构的同时保证学习者灵活地适应新任务的不同方面，通过深度神经网络的数值实验来证明元学习的基于梯度的算法的有效性，并演示了在网络不同层次上体现先验信息的直观方式。

    Nov, 2017

  • 基于经验贝叶斯的合成梯度传递元学习

    通过元学习方法在转导式环境中学习多个任务，通过使用未标记的查询集合生成更强大的模型来解决多任务学习中的问题，并提出了一种合成梯度网络和初始化网络组成的新型变分推理方法，优于以前的方法，并进一步探索了合成梯度的潜力。

    Apr, 2020

  • 一种基于 Epoch-wise 经验贝叶斯的集合方法用于少样本学习

    在少量样本学习中，本文通过元学习方法，提出了一种基于区间局部贝叶斯模型的集成学习算法。该算法对于训练集中所有数据进行了适应，介绍了四种超先验学习方法，并在三个难度较大的基准测试中取得了最佳表现。该算法的优点在于，它能够提高模型性能的效率和稳健性。

    Apr, 2019

  • 基于层次贝叶斯的梯度元学习重建

    本文探讨了如何使用 Bayesian 模型和梯度下降进行 meta-learning，通过 MAML 算法应用到复杂的函数逼近器上，进一步提升了算法的性能，并利用近似推断和曲率估计技术提出了改进措施。

    Jan, 2018

  • 贝叶斯模型无关元学习

    本文提出一种新的贝叶斯模型无关元学习方法，结合可伸缩的基于梯度的元学习和非参数变分推断，通过一个有原则的概率框架去学习复杂的不确定性结构，并且在 meta-update 时使用鲁棒的贝叶斯 meta-update 机制防止过拟合。此方法在各种任务中展现了准确性和鲁棒性。

    Jun, 2018

  • 多类别贝叶斯误差约束学习

    本文提出了一种广义的 HP divergence 测量方法，用于估计有标签数据样本的 Bayes error rate，并证明了该方法比基于成对测量方法和 Lin 提出的方法更紧密，展示了应用该方法进行特征还原策略和深度学习结构评估的工具。

    Nov, 2018

  • 可扩展贝叶斯元学习通过广义隐式梯度

    本论文提出了一种新的隐式贝叶斯元学习 (iBaML) 方法，通过交叉造用隐式微分的优点来控制常规显式梯度下降算法的可扩展性问题，并且这个方法可以扩展学习平均值，量化相关的不确定性，有效地解决了内部优化轨迹带来的设计复杂度限制。作者通过精确的误差界限和大量的数值测试来验证该方法。

    Mar, 2023

  • Hierarchical Bayesian 学习者的风险和懊悔

    本文提出了一组用于理解在线和批量学习设置下的分层先验方法的分析工具，包括对数损失下的后悔界和 Bayesian 风险界，重点研究了学生 t 先验和分层高斯先验，以及特征选择的先验，结果表明在实际问题中使用分层先验的学习论益处往往是很小的。

    May, 2015

  • 带有经验先验的实体解析

    本文提出了一种基于经验贝叶斯原则的记录链接方法，该方法使用数据的经验分布函数作为潜在实体的先验，同时允许分类和字符串值变量，包括一种新的概率机制，可以使观察记录值与其关联的潜在实体的值偏离。作者将该方法应用于一个德国名字的模拟数据集和一个意大利家庭调查，并表明该方法执行良好。

    Sep, 2014