使用本地线性模型的变分梯度下降
本研究提出了一种名为 Grassmann Stein 变分梯度下降 (GSVGD) 的新概念,用于处理维度高的目标分布问题,具备在高维空间中探索低维结构等特性。GSVGD 方法与其他变体方法相比,更新打分函数和数据的投影器并通过一种耦合的 Grassmann 值扩散进程确定最优投影器。理论和实验结果表明,GSVGD 在高维问题中具有高效的状态空间探索能力。
Feb, 2022
本文针对 Stein 变分梯度下降算法(SVGD)开展了首次理论分析,讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性,同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果,包括在弱条件下 Stein 差异的可辨识性的新证明。
Apr, 2017
本文提出了一种改进的 Stein 变分梯度下降(SVGD)算法,采用函数空间的 Newton 迭代近似二阶信息以加速算法,同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中,我们观察到与原始 SVGD 算法相比,有了显著的计算优势。
Jun, 2018
通过使用正态分布初始化器逼近高斯目标样本并使用密度和基于粒子的实现方法,证明了 Stein Variational Gradient Descent (SVGD) 及其变体的特性,包括线性收敛和性能优越性,这对于深入理解 SVGD 和 Gaussian variational inference (GVI) 的相关性提供了具体贡献。
May, 2023
本文研究 Stein 变分梯度下降算法(SVGD),该算法通过优化一组粒子来逼近目标概率分布,我们提供了该算法的新颖有限时间分析,并提供了一种下降引理以及收敛速率研究,并将有限粒子实现的 SVGD 与其群体版本进行了收敛结果的对比。
Jun, 2020
本研究提出 Stein 变分梯度下降的变种分别采用代理梯度代替目标密度函数的真实梯度,并通过对梯度进行适当加权来纠正引入的偏差。同时,我们提出了一种基于模拟退火思想的 GF-SVGD,进一步提高了高维复杂分布的性能表现,并在经验研究中表明其性能优于一些最新的先进算法。
Jun, 2018
通过我们提出的基于条件独立结构的概率图模型的消息传递 SVMG 方法 (简称 MP-SVGD) 使其在高维空间中具有更强的排斥力,从而提高了粒子效率和逼近灵活性,解决了 SVGD 中粒子落入概率密度函数模态和丧失排斥力的问题。
Nov, 2017
本文提出一种基于 Stein 算子的非参数推断方法,将 Stein 变分梯度下降(SVGD)用于解决推断问题,挖掘出一类函数,即 Stein 匹配集合,从而提供了更好的内核选择方法,并可以将问题转化为拟合 Stein 等式或求解 Stein 方程。
Oct, 2018
本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法,通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索,从而实现了更加高效的近似推断,并在实验中证明其性能优于其他基线方法。
Oct, 2019
本论文介绍了 Stein Variational Gradient Descent (SVGD) 算法的一种新视角,将 SVGD 视为卡方散度的(核化)梯度流,提出了一种基于目标密度关联的拉普拉斯算子的谱分解实现的替代方法,称为 Laplacian Adjusted Wasserstein Gradient Descent (LAWGD),这种方法表现出强大的收敛保证和良好的实际性能。
Jun, 2020