超越重新参数化技巧的路径导数
提供了一种简单而高效的计算持续性随机变量低方差梯度的方法,称为重新参数化技巧,但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法,并证明了其对Gamma,Beta,Dirichlet和von Mises分布具有更广泛的适用性,并且实验表明所提出的方法比现有的梯度估计方法更快,更准确。
May, 2018
提出了一种新的针对非可微密度模型的随机变分推断算法,通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样,估计并得出梯度的高效率降低了方差并保持偏差的不变。
Jun, 2018
本文探讨变分推断问题中使用重新参数化技巧的效果,通过理论分析和实验展示了其优越性,重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。
Sep, 2018
本研究借鉴正则化理论,提出算法,利用二阶Wasserstein距离和Lipschitz性质,通过解决优化问题来得到光滑的Brenier凸函数,实现了快速而准确的图像传输。
May, 2019
研究了一种基于流的方法来解决优化运输问题,该方法可通过神经普通可微方程迭代地减少运输成本,同时自动维护边际约束,相对于已有的方法,该方法针对特定运输成本函数且内部减少可行耦合来减少运输成本,是一种单目标变体。
Sep, 2022
本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制,并利用影响收敛的隐含偏差的谱特点来解释结果,最终在大规模数据集上取得了最先进的预测性能和不确定性估计。
Jun, 2023
我们提出了一种名为Moreau-Yoshida Variational Transport(MYVT)的新方法,用于解决正则化的分布优化问题,该方法包括优化、概率分布、正则化估计和生成建模以及原始-对偶算法。
Jul, 2023
本文研究了基于梯度流的采样方法的设计要素,主要包括能量函数、度量、和用于算法推导的梯度流的数值近似。首先,我们展示了Kullback-Leibler散度作为能量函数的独特性质,即由它引导的梯度流与目标分布的标准化常数无关。其次,我们从不变性的角度研究了度量的选择,引入了一种放松的仿射不变性,构建了各种仿射不变的Wasserstein和Stein梯度流。最后,基于高斯近似的梯度流方法被提出,并与参数变分推断衍生的梯度方法建立了联系,理论和数值上研究了它们的收敛性。
Oct, 2023
本文介绍了变分推断和Wasserstein梯度流之间的联系,通过将Bures-Wasserstein梯度流转化为欧几里德梯度流,并使用路径导数梯度估计器生成梯度场,同时提供了一种新的梯度估计方法适用于$f$-divergences的拓展。
Oct, 2023
我们提出了一种快速路径梯度估计器,它显著提高了计算效率,并适用于所有实际相关的标准化流体结构。我们还证明了该估计器可以应用于最大似然训练,并且在几个自然科学应用中具有优越的性能和降低的方差。
Mar, 2024