非参数仪器变量模型拟贝叶斯分析
本文提出了一种基于非参数核密度估计的变分逼近方法,通过优化内核位置和带宽参数最大化数据边际似然下限,不同于其他变分逼近方法,本方法能够捕捉后验分布的多个模式,并成功应用于各种图模型和非线性矩阵分解模型中,预测性能优于更专业化的变分方法和基于样本的逼近方法。
Jun, 2012
本文证明了变分贝叶斯法在频率学意义下是稳健的,它可以通过极小化 KL 散度来估计后验分布,并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian 广义线性混合模型和贝叶斯随机块模型,并通过模拟研究进行了验证。
May, 2017
本文提出基于核方法和正交级数的两种非参数方法,用于在工具变量存在时估计回归函数,首次推导出了最优收敛速度,同时表明这些估计量是在特定条件下实现的。在工具变量存在的情况下,确定回归函数的关系也定义了一类 “困难” 的逆问题,其 “困难” 的程度取决于内生与工具变量的联合密度函数的特征值,同时阐明了问题困难程度在确定最优收敛速率和适当的平滑参数选择方面所起的作用。
Mar, 2006
通过使用 Sklar 定理将预测分布分解为一维边缘预测和高维 copula,提出了一种扩展 Quasi-Bayesian 预测到高维的方法。我们利用高度表达 vine copulas 来建模依赖关系,并使用鲁棒分歧(如能量分数)来调整超参数。在某些情况下,我们的提出的 Quasi-Bayesian Vine(QB-Vine)是一个具有解析形式的完全非参数密度估计器,并且其收敛速度与数据维度无关。我们的实验证明,QB-Vine 适用于高维分布(约 64 个维度),训练所需样本量非常小(约 200 个样本),并且在密度估计和监督任务方面的性能显著优于具有解析形式的现有方法。
Jun, 2024
本文研究了非参数逆问题中的后验分布,证明其收敛于真实参数的速率取决于参数的平滑度以及先验的平滑度和尺度。正确组合这些特征可以实现最小化速率。显示可信度集的频率覆盖取决于先验和真实参数的组合,先验更平滑会导致零覆盖,而粗糙的先验会导致保守的覆盖。在后一种情况下,可信区间的数量级是正确的。通过恢复受噪音干扰的基本函数的问题进行了数值演示。
Mar, 2011
提供了一种简单的统一推理过程,适用于具有可能的不平滑广义剩余项的半 / 非参数条件矩限制的函数,包括所有(非线性)非参数工具变量(IV)。
Nov, 2014
应用小方差渐近方法直接处理贝叶斯非参数模型的后验概率,得到一种超越聚类的特征学习目标函数,并提出一些易于实现的新算法,这些算法的效果被实验结果验证。
Dec, 2012
该论文讨论了非参数工具变量估计的多个重要贡献,提出了计算简单的筛子 NPIV 估计下 $h_0$ 及其导数的上准则收敛率,并建立了均匀高斯过程强逼近和对 $h_0$ 非线性泛函的评分自举均匀置信带,应用于燃油需求的确切消费者剩余和死重损失函数式下的点值和均匀推论结果。
Aug, 2015
研究非参数回归问题时,回归器是内生的,这是计量经济学中重要的非参数工具变量回归(NPIV)回归,也是统计学中具有未知操作符的困难不逆问题。我们首先建立筛估计器的一般上界,允许内生回归器和弱依赖数据。这个结果导致了样条和小波最小二乘回归估计量在弱相关数据和重尾误差项下的最优准则率。
Nov, 2013
通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解,我们可以将变分推理方法更紧凑地参数化,并提高其信噪比,从而加速其收敛速度。
Feb, 2020