- 基于静电的粒子采样与近似推断
基于粒子的采样和近似推断方法,基于静电学和牛顿力学原理,提出了一种新的方法,通过模拟相互作用的粒子系统来实现确定性、无梯度的采样和推断,可应用于概率机器学习中的贝叶斯推断、生成模型等问题。
- 无畏的期望传播中的随机性
基于期望传播的算法在概率模型的近似推断中进行 Moment 匹配更新,通过单个样本进行蒙特卡洛估计,提供了稳定性和效率的改进。
- 贝叶斯神经网络中的结构部分随机性
提出了一种结构化的方法来选择确定性权重子集,以消除神经元置换对称性和相应的冗余后验模态,从而大大提高现有近似推理方案的性能。
- 通过熵正则化扩展均场变分推断的理论与计算
我们提出了一种新的变分推断方法 $\Xi$- 变分推断 ($\Xi$-VI),通过熵正则化扩展了朴素均值场。$\Xi$-VI 与熵最优输运问题密切相关,并从计算高效的 Sinkhorn 算法中受益。我们展示了 $\Xi$- 变分后验能够有效 - AAAI概率电路中边缘 MAP 的神经网络逼近器
近似推理是通过使用神经网络来近似代表大型概率分布,该方法通过在查询变量上使用连续多线性函数来近似赋值的代价,并通过神经网络输出解决方案。本论文通过在多个基准数据集上的评估表明,该方法在求解概率电路中的最大边后验和边后验最大估计任务时优于竞争 - 贝叶斯神经网络后验中的排列对称性:变分视角
通过对近似贝叶斯神经网络(BNNs)的分析,扩展了边界损失和解决方案插值的形式,并提出了一种匹配算法来寻找线性连接的解决方案。实验证明,在各种体系结构和数据集上,线性连接的解决方案几乎没有边界损失。
- 贝叶斯神经网络代理在贝叶斯优化中的研究
研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化,并比较了多种不同的近似推理程序,发现在不同问题中,方法的排名高度依赖于问题本身。其中,在高维问题中,无限宽度的贝叶斯神经网络特别有前途。
- 简化变分贝叶斯
本文介绍了一种简化变分贝叶斯方法的步骤,通过显式寻找关于已知分布期望的线性表达形式,从而直观简化先验形式的识别,实现更加便捷、快速、简短和通用的更新方法。
- IBIA:用于对配分函数进行近似推理的增量式构建 - 推理 - 近似框架
提出了一种基于 SCTF 的方法来计算概率图模型的配分函数,并通过算法的精确性和复杂度之间权衡进行逼近推断,旨在提高计算效率和准确性。
- 离散连续平滑与映射
DC-SAM 是一种计算机图形模型求解库,能够在离散和连续水平上寻找最大后验估计,应用于机器人感知应用中包括鲁棒的姿态图优化和基于对象的建图与定位,通过在离散和连续变量之间交替优化实现近似推理。
- IBIA:使用团树上增量建立,推理和近似操作的贝叶斯推断
这篇文章提出了一种基于增量 - 建立 - 推理 - 近似的方法,将贝叶斯网络转化为包含一系列链接团树森林的数据结构,这些团树森林的大小由用户指定,可以用于高效的近似推理分区函数以及先验和后验的边缘概率分布。实验结果表明,相对于其他近似方法, - 一个高阶语义依存解析器
本研究应用图神经网络(GNN)构建更高阶语义依存解析器,通过多个 GNN 层的聚合获得更高阶信息,实现近似推理,实现在 SemEval 2015 任务 18 英语数据集上超越先前最先进的解析器。
- ICML稀疏隐式进程下的函数空间推断
本文提出了一种利用引入点表示来调整先验隐式过程并能够产生准确的非高斯预测分布的方法,从而获得可伸缩的隐式过程近似推理方法。
- FIFA: 快速推理逼近动作分割
介绍了 FIFA,一种用于动作分割和对齐的快速近似推理方法。使用可微分近似能量函数进行最小化,提高了速度超过 5 倍,同时保持良好性能并在两个动作分割数据集上实现了最先进的结果。
- ICML贝叶斯神经网络在区别领域之外的检测上固有优势吗?
本研究探讨了利用简单神经网络结构进行贝叶斯推断用于 out-of-distribution 检测的做法的有限性,发现在使用有限宽度网络时,贝叶斯神经网络不能有效地检测 out-of-distribution 数据。
- ICML跨领域深度高斯过程
本文提出了扩展 Inter-domain Gaussian processes 的 Inter-domain Deep Gaussian Processes 方法,基于现有的近似推理方法使用 inter-domain features 实现 - ICML关于无偏 Alpha 散度最小化的困难
本文探讨信号噪声比的方法用于最小化近似分布和目标分布之间的 alpha-divergence,结果发现在高维的情况下,实现这种方法的可行性存在质疑。
- ICLR通过后验平均实现联邦学习:一个新的视角和实用算法
以后验推断方法为基础的联邦学习算法可以通过在客户端推断本地数据的后验分布来推断全局后验分布,而 FedPA 则提供了一种计算和通信高效的近似后验推断算法,使用 MCMC 进行客户端的近似推断。
- 贝叶斯神经网络:简介和调查
本研究介绍贝叶斯神经网络的实现方法,比较不同的近似推理方法,探讨如何在当前方法的基础上改进未来研究。
- 高斯 - Softmax 积分的均场逼近及其在不确定性估计中的应用
本文提出了一种新的单模型方法,通过模擬高斯分布与神经网络的 softmax 输出的集成来解决深度神经网络输出预测中的不确定性问题,同时可以进行闭式近似推断。实验证明,该方法在标准不确定性估计任务中性能竞争力强,并且在超出分布检测方面优于许多