在扰动模型框架下，我们使用随机 softmax 技巧（stochastic softmax tricks）对 Gumbel-Softmax 技巧进行了推广，将其推广到组合空间。与基线相比，我们发现使用随机 softmax 技巧可以训练表现更好、发现更多潜在结构的潜在变量模型。
Jun, 2020
我们提出了一种更具模块化和灵活性的可重参数化分布族，其中通过可逆函数将高斯噪声转化为一热近似，这个可逆函数由一个修改过的 softmax 组成，并且可以包含多种不同的转换以服务于不同的特定目的。我们的构造在理论上具有 Gumbel-Softmax 的优势，并在各种实验中显着优于它。
Dec, 2019
本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。
Nov, 2016
通过使用前向离散 $k$- 子集采样与快速计算准确边际梯度的梯度代理相结合的方式，我们提出了一个新的梯度估计器 SIMPLE，它相对于 $k=1$ 时的 Gumbel 估计器表现出更低的偏差和方差，并在解释和稀疏线性回归方面取得了改进。同时，我们提供了一个计算 $k$- 子集分布的确切 ELBO 的算法，相对于 SOTA 获得了显著的更低损失。
Oct, 2022
通过 reparameterization trick 和新的变换方法，本文提出了一种有效的估算混合密度模型中梯度的方法，可以用于训练具有混合分布潜变量的变分自编码器或执行混合密度变分后验的随机变分推断。
Jul, 2016
通过对序列到序列模型进行不断松弛极值操作，结合 Bengio 等人的 sample scheduled 采用新的连续可微方法，获得可为贴在所有点求导的梯度，从而在命名实体识别、机器翻译等任务中优于交叉熵训练与 sample scheduled。
Apr, 2017
本研究提出了一种新方法，使得基于接受拒绝采样算法的随机变量也可以使用再参数化技巧，这种方法可以扩展再参数化技巧的适用范围，且实验表明该方法可以获得比其他现有技术更低的梯度估计方差，从而实现更快的随机梯度变分推断收敛。
Oct, 2016
使用似然函数关于离散变量的梯度来提议更新，在一些复杂的模型上，我们的采样方法包括 Ising 模型、Potts 模型、受限玻尔兹曼机和分步隐马尔可夫模型等方面表现出优异的性能，并且有效提升以往在高维离散数据处理方面经常使用的变分自编码器和现有基于能量模型的方法的性能。同时我们证明，该方法是在局部更新的抽样器中几乎是最优的。
Feb, 2021
本文介绍的是使用基于递归神经网络和 Gumbel-softmax 输出分布的生成敌对网络来生成离散元素序列时的表现评估。
本文研究了从连续分布中进行采样的优化问题，利用 Gumbel 过程提出了 A * 采样算法，对其正确性和收敛时间进行了分析，并与现有算法进行比较实验。
Oct, 2014