- 在混乱问题的背景下,ELBO 梯度的解析逼近
本文提出一种用于逼近变分推断问题中 Evidence Lower Bound(ELBO)梯度的解析解,其中统计模型是由从一个高斯分布嵌入在无关干扰中得到的观测值构成的贝叶斯网络,该方法采用重新参数化技巧将梯度操作符移至期望内部,并依赖于似然 - 自然进化策略作为随机变分推断的黑箱估计器
基于鲁棒性自然演化策略的替代估计器用于克服变分自编码器框架中的设计选择限制,实现在大型数据集上高效执行贝叶斯推理并创建不同类型的模型。
- 指数族混合重参数化技巧的斯坦引理
本文将 Stein 的引理扩展到指数族混合分布,建立了 Stein 的引理和重新参数化技巧之间的联系,从而得到了许多新的可重新参数化的梯度等式,包括在学生 t 分布,偏斜高斯分布,指数修改高斯分布和正态逆高斯分布下的期望梯度
- 非线性切换动态系统的坍缩摊销变分推理
该研究提出了一种高效的推理方法,其中关键点是学习一个推理网络,该网络可用作连续潜变量的提案分布,并对离散潜变量进行精确边缘化。通过使用重参数化技巧和随机梯度下降的端到端训练,我们表明这种方法可以成功地将时间序列数据进行分割,包括视频和三维人 - 重参数化技巧的方差降低特性
本文探讨变分推断问题中使用重新参数化技巧的效果,通过理论分析和实验展示了其优越性,重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。
- ICML超越重新参数化技巧的路径导数
通过重参数化技巧计算的梯度与最优输运形式中的传输方程解直接对应。我们使用这种视角来为直接不易受到重参数化技巧影响的概率分布(伽马、贝塔和 Dirichlet)计算(近似)路径梯度。
- NIPS非可导模型的重参数化梯度
提出了一种新的针对非可微密度模型的随机变分推断算法,通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样,估计并得出梯度的高效率降低了方差并保持偏差的不变。
- 隐式重参数化梯度
提供了一种简单而高效的计算持续性随机变量低方差梯度的方法,称为重新参数化技巧,但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法,并证明了其对 Gamma,Beta,Dirichlet 和 von M - NIPS基于随机信赖域优化的快速黑盒变分推断
TrustVI 是一种基于信任域优化和重新参数化技巧的快速二阶算法,用于黑盒变分推断。 它在每次迭代中提出并评估基于变分分布抽取的小批量的步骤。 该算法具有收敛到稳定点的可证明性。
- 具体分布:离散随机变量的连续松弛
该论文提供了一种通过引入 Concrete 随机变量的连续放松方法解决离散状态下无法使用重参数化技巧的问题,使得在离散计算图上也能有效地使用自动微分来产生低方差偏向梯度和低方差无偏梯度以优化损失函数。
- 通过接受 - 拒绝抽样算法的重参数化梯度
本研究提出了一种新方法,使得基于接受拒绝采样算法的随机变量也可以使用再参数化技巧,这种方法可以扩展再参数化技巧的适用范围,且实验表明该方法可以获得比其他现有技术更低的梯度估计方差,从而实现更快的随机梯度变分推断收敛。
- 混合密度分布随机反向传播
通过 reparameterization trick 和新的变换方法,本文提出了一种有效的估算混合密度模型中梯度的方法,可以用于训练具有混合分布潜变量的变分自编码器或执行混合密度变分后验的随机变分推断。