Jun, 2020

随机 Softmax 技巧的梯度估计

PDF
TL;DR在扰动模型框架下，我们使用随机 softmax 技巧（stochastic softmax tricks）对 Gumbel-Softmax 技巧进行了推广，将其推广到组合空间。与基线相比，我们发现使用随机 softmax 技巧可以训练表现更好、发现更多潜在结构的潜在变量模型。
gumbel-max trickrelaxed gradient estimatorsstochastic softmax trickscombinatorial spaceslatent variable models
发现论文，激发创造
  • Rao-Blackwell 算法优化直通 Gumbel-Softmax 梯度估计器

    本研究提出了一种对 Gumbel-Softmax estimator 进行 Rao-Blackwellization 的方法，可在不增加函数评估数量的情况下减少方差，从而降低均方误差，并在两种无监督潜变量模型中得到了实证验证。

    Oct, 2020

  • 机器学习中离散随机性的 Gumbel-max 技巧及其扩展综述

    本文介绍了使用 Gumbel-max trick 从分类分布中抽样的方法，并概述了该方法的扩展，包括从结构化领域中抽样、多重抽样、通过渐变估计神经网络优化中的误差反向传播等，并提供了以 Gumbel 为基础算法的机器学习文献综述、常见设计选择以及未来展望。

    Oct, 2021

  • 通过连续松弛实现可重参数子集采样

    通过广义化 Gumbel-max 技巧，对子集采样实现连续松弛以提供可重参数梯度，应用于机器学习中的特征选择、深度随机 k 最近邻模型和参数 t-SNE 等任务中，提高了模型性能。

    Jan, 2019

  • Gumbel-Softmax 分类再参数化

    本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

    Nov, 2016

  • 可逆高斯重新参数化：重访 Gumbel-Softmax

    我们提出了一种更具模块化和灵活性的可重参数化分布族，其中通过可逆函数将高斯噪声转化为一热近似，这个可逆函数由一个修改过的 softmax 组成，并且可以包含多种不同的转换以服务于不同的特定目的。我们的构造在理论上具有 Gumbel-Softmax 的优势，并在各种实验中显着优于它。

    Dec, 2019

  • 通过稀疏性高效消除离散和结构化潜变量的影响

    本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。

    Jul, 2020

  • 通过多项式估计进行随机子模最大化

    本研究以连续贪心算法为基础，研究了具有一般性骨架约束的随机子模最大化问题，主要应用于在线学习，团队形成，设施位置，影响最大化，主动学习和感知目标函数。实验表明，使用多项式梯度估计代替样本估计，可有效减少随机性并缩短执行时间。

    Mar, 2023

  • 使用间隔的直通估计器训练离散深度生成模型

    提出一种灵活的 Gapped Straight-Through (GST) 估计器来降低离散随机变量的梯度估计中的高方差，在 MNIST-VAE 和 ListOps 的两项离散深度生成建模任务中表现优异，比其他策略具有更好的性能。

    Jun, 2022

  • 关于扰动 - Softmax 和扰动 - Argmax 概率分布的统计表示特性

    通过对凸性和可微性的研究，我们探索了 Gumbel-Softmax 和 Gumbel-Argmax 概率分布模型的统计条件，并将这种框架扩展到高斯 - Softmax 和高斯 - Argmax 等通用概率模型，最终得出两组参数满足这些假设并具有完全且最小表示的结论。

    Jun, 2024

  • 高斯 - Softmax 积分的均场逼近及其在不确定性估计中的应用

    本文提出了一种新的单模型方法，通过模擬高斯分布与神经网络的 softmax 输出的集成来解决深度神经网络输出预测中的不确定性问题，同时可以进行闭式近似推断。实验证明，该方法在标准不确定性估计任务中性能竞争力强，并且在超出分布检测方面优于许多基线方法。

    Jun, 2020