本文提出了一种名为 Distributed Stein Variational Gradient Descent (DSVGD)的非参数广义贝叶斯推理框架,旨在通过维护中央服务器上的多个非随机交互粒子来最小化全局自由能,达到在通信负载和通信轮数方面的灵活权衡,并比较频率学派和贝叶斯联合学习策略,在精确度和可伸缩性方面表现出众,同时提供良好的校准性和可信度的预测。
Sep, 2020
本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法,通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索,从而实现了更加高效的近似推断,并在实验中证明其性能优于其他基线方法。
Oct, 2019
本文提出了一种改进的 Stein 变分梯度下降(SVGD)算法,采用函数空间的 Newton 迭代近似二阶信息以加速算法,同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中,我们观察到与原始 SVGD 算法相比,有了显著的计算优势。
Jun, 2018
本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法,旨在解决传统 Stein 变分梯度下降中选择核函数的难题,经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。
Jul, 2021
本研究提出了一种名为 Grassmann Stein 变分梯度下降 (GSVGD) 的新概念,用于处理维度高的目标分布问题,具备在高维空间中探索低维结构等特性。GSVGD 方法与其他变体方法相比,更新打分函数和数据的投影器并通过一种耦合的 Grassmann 值扩散进程确定最优投影器。理论和实验结果表明,GSVGD 在高维问题中具有高效的状态空间探索能力。
Feb, 2022
本研究研究了使用不同的 Stein 变分梯度下降方法来解决深度神经网络的 Bayesian 框架的问题,通过改善功能多样性和不确定性估计,逼近真实的 Bayesian 后验,并展示使用随机 SVGD 更新可以进一步改善性能。
Jun, 2021
通过使用正态分布初始化器逼近高斯目标样本并使用密度和基于粒子的实现方法,证明了 Stein Variational Gradient Descent (SVGD) 及其变体的特性,包括线性收敛和性能优越性,这对于深入理解 SVGD 和 Gaussian variational inference (GVI) 的相关性提供了具体贡献。
May, 2023
本文研究 Stein 变分梯度下降算法(SVGD),该算法通过优化一组粒子来逼近目标概率分布,我们提供了该算法的新颖有限时间分析,并提供了一种下降引理以及收敛速率研究,并将有限粒子实现的 SVGD 与其群体版本进行了收敛结果的对比。
Jun, 2020
本文针对 Stein 变分梯度下降算法(SVGD)开展了首次理论分析,讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性,同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果,包括在弱条件下 Stein 差异的可辨识性的新证明。
Apr, 2017
本文提出一种基于 Stein 算子的非参数推断方法,将 Stein 变分梯度下降(SVGD)用于解决推断问题,挖掘出一类函数,即 Stein 匹配集合,从而提供了更好的内核选择方法,并可以将问题转化为拟合 Stein 等式或求解 Stein 方程。
Oct, 2018