Oct, 2021

机器学习中离散随机性的 Gumbel-max 技巧及其扩展综述

PDF
TL;DR本文介绍了使用 Gumbel-max trick 从分类分布中抽样的方法，并概述了该方法的扩展，包括从结构化领域中抽样、多重抽样、通过渐变估计神经网络优化中的误差反向传播等，并提供了以 Gumbel 为基础算法的机器学习文献综述、常见设计选择以及未来展望。
gumbel-max trickcategorical distributionmachine learninggradient estimationneural network optimization
发现论文，激发创造
  • 随机 Softmax 技巧的梯度估计

    在扰动模型框架下，我们使用随机 softmax 技巧（stochastic softmax tricks）对 Gumbel-Softmax 技巧进行了推广，将其推广到组合空间。与基线相比，我们发现使用随机 softmax 技巧可以训练表现更好、发现更多潜在结构的潜在变量模型。

    Jun, 2020

  • Gumbel Trick 的失落亲戚

    该论文提出了一种基于 Gumbel trick 的采样方法，能够在最小的计算成本下，对离散概率分布进行采样和计算归一化分区函数，并在图模型方面得到了优越的性能。

    Jun, 2017

  • 随机束和它们的发现：Gumbel-Top-k 技巧在不重复采样序列中的应用

    应用 Gumbel-Top-k 技巧和分解可重复采样，使用随机束搜索进行无重复抽样序列模型的研究，发现序列采样中存在随机束搜索和确定性束搜索之间的理论联系，这一方法在翻译任务中表现优异，且采样无重复序列可用于构造期望 BLEU 得分和模型熵的低方差估计。

    Mar, 2019

  • A* 抽样

    本文研究了从连续分布中进行采样的优化问题，利用 Gumbel 过程提出了 A * 采样算法，对其正确性和收敛时间进行了分析，并与现有算法进行比较实验。

    Oct, 2014

  • Gumbel-Softmax 分类再参数化

    本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

    Nov, 2016

  • 关于扰动 - Softmax 和扰动 - Argmax 概率分布的统计表示特性

    通过对凸性和可微性的研究，我们探索了 Gumbel-Softmax 和 Gumbel-Argmax 概率分布模型的统计条件，并将这种框架扩展到高斯 - Softmax 和高斯 - Argmax 等通用概率模型，最终得出两组参数满足这些假设并具有完全且最小表示的结论。

    Jun, 2024

  • 通过连续松弛实现可重参数子集采样

    通过广义化 Gumbel-max 技巧，对子集采样实现连续松弛以提供可重参数梯度，应用于机器学习中的特征选择、深度随机 k 最近邻模型和参数 t-SNE 等任务中，提高了模型性能。

    Jan, 2019

  • 可逆高斯重新参数化：重访 Gumbel-Softmax

    我们提出了一种更具模块化和灵活性的可重参数化分布族，其中通过可逆函数将高斯噪声转化为一热近似，这个可逆函数由一个修改过的 softmax 组成，并且可以包含多种不同的转换以服务于不同的特定目的。我们的构造在理论上具有 Gumbel-Softmax 的优势，并在各种实验中显着优于它。

    Dec, 2019

  • 具有数据增强的 Gibbs 最大裕度主题模型

    本文提出了 Gibbs max-margin 监督主题模型的新型损失函数，通过引入增广变量和解析地消除 Dirichlet 变量，从而开发了简单的 Gibbs 抽样算法以解决多个潜在 SVM 子问题，且无需限制假设和解决 SVM 子问题，从而在许多分类任务中实现了时间效率和分类性能的显着提高。

    Oct, 2013

  • 带有 Gumbel-Greedy 解码的神经机器翻译

    本文提出了一种使用 Gumbel-Greedy Decoding 训练生成网络来预测翻译的方法，该方法使用 Gumbel-Softmax 重新参数化来实现对离散单词序列的可微分训练，实验证明其有效性。

    Jun, 2017