- 高维系统高效推理的高斯集成置信传播
高维模型中的高效推理是机器学习中的一大挑战。本文介绍了高斯集成信念传播算法(GEnBP),它是集合卡尔曼滤波器和高斯信念传播方法的融合。GEnBP 通过图模型结构中的低秩局部消息传递来更新集合,结合了每种方法的优点,能够处理高维状态、参数和 - 高维树和图模型中的结构参数选择信息准则
本文为实现树形和图形模型的结构化选择,精心平衡误差和遗漏,开发了矫正版的 Mallows's Cp 准则。
- 高维模型中的贝叶斯推断
本文综述了贝叶斯及相关方法在高维模型中的性质,如许多正常问题,线性回归,广义线性模型,高斯和非高斯图模型等。同时也讨论了有效的计算方法。
- 使用 ADMM 型分裂实现无维度收敛速率的高效 MCMC 采样
本文研究了一种名为 split Gibbs sampler 的算法在高维模型中的理论表现,通过使用 Ricci 曲率和耦合方法建立了显式的收敛速率。
- 贝叶斯工作流中的可视化
贝叶斯数据分析是一个包含模型构建、推断、检验、评价和扩展的迭代过程,可利用贝叶斯可视化技术在诸多阶段中提供帮助并且不可或缺,尤其是在从所使用的现代高维模型中进行推断时。
- GWAS 尺度上的贝叶斯收缩:一个可扩展的 MCMC 算法的收敛和近似理论,针对马蹄铁先验
本论文提出了两种新的马尔可夫链蒙特卡罗算法,用于计算高维模型中的马蹄铁先验,在维数增长时得以扩展,且与现有算法相比具有更高的性能;其中一种算法还可以逼近昂贵的矩阵乘积,在高维应用中加速数个数量级。
- ICML嵌套顺序蒙特卡罗方法
本文提出了嵌套顺序蒙特卡罗 (NSMC) 方法,可以采样高维的概率分布,扩展了 SMC 框架并被用于复杂的高维模型和滤波问题中。
- 高维推断:置信区间,p - 值和 R 软件 hdi
本文介绍最近高维模型频率派推断方法的综述,包括对线性模型和广义线性模型 $ p $- 值和置信区间构建的比较实证研究,同时还介绍并说明了 R 包 hdi 的使用以及其支持的各种方法和再现性。
- 复杂高维模型的贝叶斯分析:可以使用 CODA 吗?
本研究考虑针对复杂的高维模型的贝叶斯分析,并表明直觉上的先验分布选择对模型和参数的微小细节不加区分,导致在某些情况下表现较差,而简单的频率学派估计量存在良好的表现。
- Krylov 子空间下降用于深度学习
本研究提出了一个针对高维模型和大量训练样本的二阶优化方法,使用 Krylov 子空间进行训练加速,并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法,且优于 Hessian Free 方法。
- 高维变量选择
本文讨论了在高维模型中进行变量选择时可以给出什么样的统计保证,并以某些多阶段回归方法的误差率和功率为例。我们考虑了三种筛选方法:套索、边际回归和前向逐步回归,提出了在某些条件下一致的变量选择方法。