- 贝叶斯神经网络中的结构部分随机性
提出了一种结构化的方法来选择确定性权重子集,以消除神经元置换对称性和相应的冗余后验模态,从而大大提高现有近似推理方案的性能。
- 高维状态空间中的增量非参数推断的切片观
我们介绍了一种创新的方法,用于高维状态空间中的增量非参数概率推断。我们的方法利用来自高维表面的切片来高效近似任何形状的后验分布。与许多现有的基于图的方法不同,我们的切片视角消除了需要额外的中间重建,从而保持了后验分布的更准确的表示。此外,我 - 粒子基于贝叶斯最优自适应设计
我们提出了一种名为 PASOA 的新程序,用于贝叶斯实验设计,通过同时提供参数推断的连续后验分布的准确估计来执行顺序设计优化。该程序使用对比估计原理、随机优化和顺序蒙特卡洛采样器来进行顺序设计过程,以最大化预期信息增益。通过在连续后验分布之 - 近确定性回归中的规范误差不确定性
前向论合理化了模型的泛化错误上界,为学习提供了健壮的 PAC-Bayes 边界。然而,已知损失的最小化会忽略错误规范化,在此情况下模型无法完全复现观测结果。我们分析了近确定、错误规范化和欠参数化替代模型的泛化错误,这是科学和工程中广泛相关的 - $μ$GUIDE: 通用不确定性驱动推断的深度学习映像微结构框架
用新的深度学习框架和高效的后验分布采样,提出了一个通用的贝叶斯框架 μGUIDE,用于从任何给定的生物物理模型或 MRI 信号表示中估计组织微结构参数的后验分布,以弥补传统贝叶斯方法的高计算和时间成本。
- 基于摊还的贝叶斯决策模拟建模
该研究利用基于仿真的推断方法解决了如何在随机模拟器上进行贝叶斯决策,并且通过训练神经网络预测期望成本,以推断具有最低成本的行动。
- 利用 PAC-Bayesian 理论对变分自动编码器提供统计保证
使用 PAC-Bayesian 理论为变分自动编码器(VAEs)提供统计保证,推导了后验分布的 PAC-Bayesian 界限,以及 VAE 的重构损失的泛化保证、输入分布与 VAE 生成模型定义的分布之间的距离的上界和 Wasserste - 低资源多语音声学模型融合的非线性两两语言映射
在多语种语音识别中,为了弥补低资源语言的数据匮乏,人们广泛使用多功能语音识别。 本文提出了一种新颖的混合 DNN-HMM 声学模型融合方法,实现了多种低资源语言的跨语音识别,且相对于多功能和单语基线,后验融合得到了 14.65%和 6.5% - ICML基于 KL 散度的模型融合
本研究提出了一种方法来融合从异构数据集中学习到的后验分布。该算法基于均值场假设和简单的分配和平均方法,并通过正则化分配问题的变体来解决分配问题。对于指数族变分分布,我们的公式导致了一个有效的非参数算法来计算融合模型。该算法易于描述和实现,效 - 具有双曲标准化流的潜变量建模
本研究论文介绍了一种在双曲空间上扩展 Normalizing Flow 的方法,使其能够更好地模拟具有分层结构的数据,并展示了该方法在密度估计和图数据重建等领域的高效性与优越表现。
- 利用自然梯度和斯坦梯度促进贝叶斯持续学习
本文介绍如何通过使用自然梯度和斯坦梯度,从后验分布和 coresets 两种方式中学习先前任务的知识,帮助贝叶斯连续学习。
- WSDM主题稀疏性的 Sparsemax 和 Relaxed Wasserstein
提出了两个基于高斯稀疏最大化构造的全新神经模型,能够提供对主题的稀疏后验分布进行高效的随机反向传播训练,与现有的基于高斯 softmax 和 KL 散度的方法相比,我们的方法可以识别潜在的主题稀疏性,同时具有训练稳定性、预测性能和主题连贯性 - ICML高斯过程的恒定时间预测分布
本文提出一种基于 Lanczos 算法的方法 LOVE(LanczOs Variance Estimates)来解决高斯过程回归的计算瓶颈,大大提高了协方差的计算效率和采样速度。
- NIPS随机学习的 PAC-Bayesian 分析及其在随机梯度下降中的应用
通过 PAC-Bayes 和算法稳定性的结合研究了随机梯度下降算法的泛化误差,提出了一种基于后验优化的自适应采样算法,并在基准数据集上进行评估。结果表明,相较于均匀采样,自适应采样既可以更快地降低经验风险,也可以提高样本外准确性。
- ICML随机梯度单项式 Gamma 采样器
本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率,并讨论了克服这种泛化所引入的实际问题的技术。实验证明,该方法在探索复杂的多峰后验分布方面表现优秀。
- 将 GW150914 与二进制黑洞合并的爱因斯坦方程数值解进行直接比较
本文通过对二进制黑洞合并模拟,得出合适的后验概率分布,研究了其质量比和自旋参数,结果表明数据与非进动和进动模拟的各种组合兼容。
- 变分高斯过程
本文提出了一种变分高斯过程 (VGP) 方法,该方法是一种贝叶斯非参数变分方法,利用随机非线性映射生成近似后验样本,适应于复杂的后验分布,且通过学习随机映射的分布来使之适应于不同的复杂度,该方法在无监督学习中实现了最新的最佳结果。
- 有限和无限混合模型中潜在混合度量的收敛
本文通过运用 Wasserstein 度量讨论混合模型中潜在混合度量的收敛性,研究 Wasserstein 距离与 Hellinger 和 Kullback-Leibler 度量之间的关系,并建立了离散度量的收敛率与概率混合分布的收敛率之间