我们提出了一种更具模块化和灵活性的可重参数化分布族，其中通过可逆函数将高斯噪声转化为一热近似，这个可逆函数由一个修改过的 softmax 组成，并且可以包含多种不同的转换以服务于不同的特定目的。我们的构造在理论上具有 Gumbel-Softmax 的优势，并在各种实验中显着优于它。
Dec, 2019
本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。
Jul, 2020
本文提出了一种放松的分类分析上界（ReCAB）及其在生成模型中的应用，相对于基于随机抽样的方法，该方法具有封闭的公式解，同时提出了基于该方法的情感语音合成系统，相较于基线系统，该系统具有更好的语音质量和稳定性。
May, 2022
在扰动模型框架下，我们使用随机 softmax 技巧（stochastic softmax tricks）对 Gumbel-Softmax 技巧进行了推广，将其推广到组合空间。与基线相比，我们发现使用随机 softmax 技巧可以训练表现更好、发现更多潜在结构的潜在变量模型。
Jun, 2020
本研究提出了一种对 Gumbel-Softmax estimator 进行 Rao-Blackwellization 的方法，可在不增加函数评估数量的情况下减少方差，从而降低均方误差，并在两种无监督潜变量模型中得到了实证验证。
Oct, 2020
提出一种使用贝叶斯方法中的随机变量作为分类任务中的 softmax 的替代品，以更好地估计不确定性和模型校准，并在多种挑战性任务中提供了一致的泛化性能提高。
Feb, 2020
该研究提出了一种基于重要性采样和统计耦合的派生估计器，将分类变量重新参数化作为二进制序列，并进行 Rao-Blackwellization，结果表明该方法在离散潜变量训练中具有最先进的性能。
Jun, 2021
介绍了一种对 softmax 概率的有效逼近方法，该方法基于一种严格的下界概率，可通过随机优化进行可扩展的估计，并演示了其在分类问题中的应用。
Sep, 2016
通过广义化 Gumbel-max 技巧，对子集采样实现连续松弛以提供可重参数梯度，应用于机器学习中的特征选择、深度随机 k 最近邻模型和参数 t-SNE 等任务中，提高了模型性能。
Jan, 2019
本文介绍的是使用基于递归神经网络和 Gumbel-softmax 输出分布的生成敌对网络来生成离散元素序列时的表现评估。
Nov, 2016