贝叶斯 / 信息论偏差学习模型

Nov, 2019

A Bayesian/Information Theoretic Model of Bias Learning

Jonathan Baxter

TL;DR本文从贝叶斯角度探讨了在相关任务环境下学习适当的偏差问题，并展示了环境的概念是自然地模拟了任务的目标先验分布。本文论证了对于许多常见的机器学习问题，虽然我们不知道问题的真正（客观）先验分布，但我们可以对真正的先验分布可能属于的一组可能的先验分布有一些想法。在这些情况下，本文展示了学习者可以使用贝叶斯推断通过从客观先验中进行采样来学习真实先验分布。当同时学习多个任务时，给出了学习任务所需信息量的下限。这些下限表明，如果学习者很少了解真实先验分布，且真实先验分布的维数很小，则采样多个任务是非常有优势的。

Abstract

In this paper the problem of learning appropriate bias for an environment of related tasks is examined from a bayesian perspective. The environment of related tasks is shown to be naturally modelled by the concept of an {\em objective} prior distribution. Sampling from the objective pr

bayesian perspective objective prior distribution learning tasks machine learning problems dimensionality

发现论文，激发创造

归纳偏置学习模型

本文研究了自动学习偏见的模型，该模型假设学习者嵌套在相关学习任务的环境中，并在此环境中搜索包含良好解决方案的假设空间，进而获得更好的推广效果。

Jun, 2011

学习如何学习的理论模型

机器只能在某些方面受到偏见时才能学习。本文介绍了两种偏差学习模型，并提出了主要的理论结果：PAC 类型模型基于经验处理理论，而分层贝叶斯模型。

Feb, 2020

基于扩展 PAC-Bayes 理论调整先验知识的元学习

提出了基于一般化误差界的元学习框架，通过构建学习任务的假设分布，并在新任务上使用以经验为依据的先验知识进行学习，我们可以在捕捉学习任务公共结构的同时保证学习者灵活地适应新任务的不同方面，通过深度神经网络的数值实验来证明元学习的基于梯度的算法的有效性，并演示了在网络不同层次上体现先验信息的直观方式。

Nov, 2017

贝叶斯多任务逆向强化学习

本文将逆向强化学习问题推广到多个任务，通过引入一定数量的结构化先验，我们将问题形式化为统计偏好提取。我们展示了我们的框架不仅允许我们从多个专家中有效地学习，而且还可以有效地区分每个专家的目标。

Jun, 2011

贝叶斯元先学习：基于经验贝叶斯的方法

本文提出了一种层次经验贝叶斯方法，以解决实际问题中面临的挑战，即缺乏信息先验和无法控制参数学习速率的问题。该方法从数据本身学习经验元先验，并将它们用于解耦 GLM 中的一阶和二阶特征的学习速率。作者将其应用于标准监督学习优化问题以及在线组合优化问题中，在实验中表现出了显著的改进。

Feb, 2020

深度先验

本研究探讨使用深度学习工具学习神经网络参数先验分布的可能性，结果表明此方法的变分贝叶斯算法具有很好的泛化能力且可以在元数据集上正确推断出周期信号的泛化结果。

Dec, 2017

基于随机目标函数的贝叶斯模型非参数学习

提出了一种基于贝叶斯非参数方法的、不需要假定模型真实的学习方法，该方法利用统计模型但不要求模型真实，并且具有比参数模型更好的性质，并可通过蒙特卡罗采样方案在现代计算机架构上实现大规模计算。

Jun, 2018

迈向归纳偏差的精确计算

我们提出了一种计算归纳偏差的新方法，该方法涉及对来自假设空间的随机假设的损失分布进行建模，以估计相对于这些假设需要的归纳偏差，从而提供了一种信息理论解释特定模型架构对特定任务的好处的度量，并为开发需要更大归纳偏差的任务提供了定量指导，从而鼓励更强大的归纳偏差的发展。

Jun, 2024

模型平均中的元学习 PAC-Bayes 先验

提出两种数据算法来获取适当的模型平均先验。

Dec, 2019

多信息源优化

针对黑盒函数优化问题，本文提出了一种新算法，通过价值信息分析决策，处理了由模型差异和噪音观测所带来的不确定性，并在实验中验证了其相对其他先进技术具有更高的目标价值和更少的探索成本。

Mar, 2016