Jun, 2024

关于扰动 - Softmax 和扰动 - Argmax 概率分布的统计表示特性

PDF
TL;DR通过对凸性和可微性的研究，我们探索了 Gumbel-Softmax 和 Gumbel-Argmax 概率分布模型的统计条件，并将这种框架扩展到高斯 - Softmax 和高斯 - Argmax 等通用概率模型，最终得出两组参数满足这些假设并具有完全且最小表示的结论。
gumbel-softmaxgumbel-argmaxprobability distributionsstatistical propertiesconvexity
发现论文，激发创造
  • 可逆高斯重新参数化：重访 Gumbel-Softmax

    我们提出了一种更具模块化和灵活性的可重参数化分布族，其中通过可逆函数将高斯噪声转化为一热近似，这个可逆函数由一个修改过的 softmax 组成，并且可以包含多种不同的转换以服务于不同的特定目的。我们的构造在理论上具有 Gumbel-Softmax 的优势，并在各种实验中显着优于它。

    Dec, 2019

  • 随机 Softmax 技巧的梯度估计

    在扰动模型框架下，我们使用随机 softmax 技巧（stochastic softmax tricks）对 Gumbel-Softmax 技巧进行了推广，将其推广到组合空间。与基线相比，我们发现使用随机 softmax 技巧可以训练表现更好、发现更多潜在结构的潜在变量模型。

    Jun, 2020

  • Gumbel-Softmax 分类再参数化

    本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

    Nov, 2016

  • 机器学习中离散随机性的 Gumbel-max 技巧及其扩展综述

    本文介绍了使用 Gumbel-max trick 从分类分布中抽样的方法，并概述了该方法的扩展，包括从结构化领域中抽样、多重抽样、通过渐变估计神经网络优化中的误差反向传播等，并提供了以 Gumbel 为基础算法的机器学习文献综述、常见设计选择以及未来展望。

    Oct, 2021

  • 混合分布的稀疏通信

    本文介绍一种新的 “直和” 基础度量方法用于概率简单形式下的混合随机变量，并对混合离散变量模型的表示与采样提出两种策略，通过基于混合随机变量的自动编码器的实现和表现，验证该方法的有效性。

    Aug, 2021

  • 用 Gumbel-softmax 分布的 GAN 生成离散元素序列

    本文介绍的是使用基于递归神经网络和 Gumbel-softmax 输出分布的生成敌对网络来生成离散元素序列时的表现评估。

    Nov, 2016

  • 生成对抗网络学习分布的效果

    本论文研究了生成性对抗网络（GANs）的收敛速率和损失函数，探讨了在不同参数和非参数条件下的目标分布，都能通过 GANs 进行逼近， 建立了基于生成器和判别器的正则化理论，提出了生成器 - 判别器对正则化的新概念，为分布估计提供了有效的统计保证。

    Nov, 2018

  • 最大偏离经验分布的保证最优生成建模

    使用生成建模方法，本文提供了关于生成模型训练的理论洞察力，重点强调数据生成分布与训练数据生成分布之间的误差应随着样本量趋近无穷而趋近于零，并确保训练数据生成分布与任何复制训练数据样本的分布之间足够远。

    Jul, 2023

  • Argmax 流和多项式扩散：学习分类分布

    本文介绍了生成流和扩散模型的扩展，用于类别数据，例如语言或图像分割：Argmax 流和多项式扩散，并证明了该方法在文本建模和图像分割映射建模上优于现有的量化去噪方法。

    Feb, 2021

  • 通过连续松弛实现可重参数子集采样

    通过广义化 Gumbel-max 技巧，对子集采样实现连续松弛以提供可重参数梯度，应用于机器学习中的特征选择、深度随机 k 最近邻模型和参数 t-SNE 等任务中，提高了模型性能。

    Jan, 2019