Sep, 2017

一般贝叶斯更新和损失 - 似然自助法

PDF
TL;DR本文重新审视了加权似然 Bootstrap 的方法，该方法可以在带参数模型下生成近似 Bayesian 后验的样本。我们表明，同样的方法可以在参数模型下进行，由无法确定的样本分布的期望负对数似然极小化引起。我们称这种方法为 Loss-Likelihood Bootstrap。
weighted likelihood bootstrapapproximate bayesian posteriorbayesian nonparametric modelexpected negative log-likelihoodloss-likelihood bootstrap
发现论文，激发创造
  • 更新信念分布的一般框架

    我们提出了一个泛贝叶斯推理的框架，利用损失函数将数据信息与感兴趣参数相连，并使用累计损失函数的决策论方法更新信念，从而在更一般的情况下提供连贯的主观推断。

    Jun, 2013

  • 针对难以处理的似然函数的强健广义贝叶斯推断

    本文探讨了以 Stein discrepancy 作为损失函数的广义贝叶斯推断，以规避似然函数中存在难以计算的标准化常量，并展示了其一致性、渐近正常性和偏差稳健性，同时提供了针对各种难以计算分布的数值实验，包括基于核的指数族模型和非高斯图模型的应用。

    Apr, 2021

  • PAC-Bayesian 理论应用于贝叶斯推理

    展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

    May, 2016

  • 使用后验自助法从多模式后验中进行可伸缩的非参数采样

    本文提出了一种可扩展的贝叶斯非参数学习方法，通过优化适当随机化的目标函数实现后验抽样，一个未知数据分布的狄利克雷过程先验考虑到了模型建立错误，并允许具有尴尬并行事后自举算法的非参数后验分布的独立和精确的样本生成，从而特别擅长从多峰后验分布中抽样。

    Feb, 2019

  • 可扩展贝叶斯加权自助法

    本论文提出一种加权贝叶斯自助法（WBB）用于机器学习和统计学的不确定性量化，可通过对多维后验分布进行采样实现，计算速度快，可扩展性好，并对正则化回归、趋势滤波和深度学习等众多机器学习和统计模型进行了应用。

    Mar, 2018

  • 限制生成模型的测试对数似然

    研究提出了一种更高效的密度估计方法，从而解决了一些复杂的生成学习算法中难以估计模型质量的问题，并证明其提供了真实测试对数似然的下界和无偏估计，同时还提出了一种偏差估计的变体，可以在有限的样本数下可靠地用于模型比较。

    Nov, 2013

  • 贝叶斯模型选择，边缘似然和泛化

    这篇研究论文探讨了边缘似然估计在学习约束和假设检验方面的吸引力特性，以及在深度神经网络中超参数学习、神经结构搜索等方面的一些挑战，提出了条件边缘似然作为一种较为实用的修正方法，以更好地反应泛化能力。

    Feb, 2022

  • 贝叶斯推断和参数自助法

    利用参数化 bootstrap 计算贝叶斯后验分布，通过重要性采样方法可以计算贝叶斯估计的频率精度，同时理论上也提供了贝叶斯和频率分析之间的联系，并在模型选择中展示了如何有效地算出贝叶斯推断的频率精度和演算法。

    Jan, 2013

  • 使用比值估计实现无似然推断

    基于逻辑回归的比例估计方法作为参数统计推断的替代方法，以更丰富的总结统计信息来消除假设先验和卡方问题。

    Nov, 2016

  • 贝叶斯神经网络中基于损失校准的近似推断

    本文提出了一种基于 Bayesian 决策理论的新的、具有损失校准的证据下界来近似贝叶斯神经网络的真实后验分布，该下界依赖于一种效用函数，以确保我们的逼近方法对于具有非对称效用函数的应用程序具有更高的效用。此外，该方法具有与标准 dropout 神经网络相同的目标，但具有额外的依赖于效用函数的惩罚项。

    May, 2018