本文提出了一种改进的 Stein 变分梯度下降(SVGD)算法,采用函数空间的 Newton 迭代近似二阶信息以加速算法,同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中,我们观察到与原始 SVGD 算法相比,有了显著的计算优势。
Jun, 2018
本研究提出了一种名为 Grassmann Stein 变分梯度下降 (GSVGD) 的新概念,用于处理维度高的目标分布问题,具备在高维空间中探索低维结构等特性。GSVGD 方法与其他变体方法相比,更新打分函数和数据的投影器并通过一种耦合的 Grassmann 值扩散进程确定最优投影器。理论和实验结果表明,GSVGD 在高维问题中具有高效的状态空间探索能力。
Feb, 2022
本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法,通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索,从而实现了更加高效的近似推断,并在实验中证明其性能优于其他基线方法。
Oct, 2019
本文针对 Stein 变分梯度下降算法(SVGD)开展了首次理论分析,讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性,同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果,包括在弱条件下 Stein 差异的可辨识性的新证明。
Apr, 2017
该研究提出了一种将离散分布转换为等效分段连续分布的方法,然后使用无梯度的 SVGD 进行高效的近似推理,并证明了该方法在离散图形模型的各种测试中优于传统的算法,同时优于其他广泛使用的集成方法,特别是在学习 CIFAR-10 数据集上的二值化 AlexNet 的情况下。
Mar, 2020
本文研究 Stein 变分梯度下降算法(SVGD),该算法通过优化一组粒子来逼近目标概率分布,我们提供了该算法的新颖有限时间分析,并提供了一种下降引理以及收敛速率研究,并将有限粒子实现的 SVGD 与其群体版本进行了收敛结果的对比。
Jun, 2020
本文提出一种基于 Stein 算子的非参数推断方法,将 Stein 变分梯度下降(SVGD)用于解决推断问题,挖掘出一类函数,即 Stein 匹配集合,从而提供了更好的内核选择方法,并可以将问题转化为拟合 Stein 等式或求解 Stein 方程。
Oct, 2018
通过使用正态分布初始化器逼近高斯目标样本并使用密度和基于粒子的实现方法,证明了 Stein Variational Gradient Descent (SVGD) 及其变体的特性,包括线性收敛和性能优越性,这对于深入理解 SVGD 和 Gaussian variational inference (GVI) 的相关性提供了具体贡献。
May, 2023
本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法,旨在解决传统 Stein 变分梯度下降中选择核函数的难题,经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。
Jul, 2021
通过使用本地线性模型,提出了一种使用目标和粒子分布的样本计算梯度的新方法,可以替代需要计算目标得分函数的 Stein 变分梯度下降(SVGD)方法。