本文提出了一种名为 SeqGAN 的序列生成框架，该框架将数据生成器建模为强化学习中的随机策略，通过直接执行梯度策略更新来绕过生成器差异化问题，并利用蒙特卡罗搜索将 RL 奖励信号从 GAN 鉴别器传递回中间状态动作步骤。在合成数据和现实世界任务上的广泛实验表明，SeqGAN 比强基线模型有了显著的改进。

Sep, 2016

本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

Nov, 2016

本文介绍了将生成对抗网络应用于自然语言任务的困难之处，提出了一种新的最大似然增强离散生成对抗网络方法，并在多个数据集上进行实验证明了其优越性。

Feb, 2017

本研究提出了一种用连续嵌入层替代 Softmax 层的技术，使得生成的语言模型具有较大的词汇表并且具有比传统模型更高效的训练速度，在神经机器翻译任务上的表现也保持在业界领先水平。

Dec, 2018

通过减少灾难性遗忘，本研究将最新工作应用于在一系列不同分布的序列上训练生成对抗网络并实现连续生成建模。

May, 2017

Softmax GAN 是生成对抗网络（GAN）的一种新变体，其关键思想是用单个批次的样本空间中的 softmax 交叉熵损失替换原始 GAN 中的分类损失。我们表明，Softmax GAN 是 GAN 的重要性采样版本，并通过实验进一步证明这种简单的改变可以稳定 GAN 的训练。

Apr, 2017

本文提出了一种使用 Gumbel-Greedy Decoding 训练生成网络来预测翻译的方法，该方法使用 Gumbel-Softmax 重新参数化来实现对离散单词序列的可微分训练，实验证明其有效性。

Jun, 2017

我们提出了一种更具模块化和灵活性的可重参数化分布族，其中通过可逆函数将高斯噪声转化为一热近似，这个可逆函数由一个修改过的 softmax 组成，并且可以包含多种不同的转换以服务于不同的特定目的。我们的构造在理论上具有 Gumbel-Softmax 的优势，并在各种实验中显着优于它。

Dec, 2019

本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。

May, 2021

本论文研究了生成性对抗网络（GANs）的收敛速率和损失函数，探讨了在不同参数和非参数条件下的目标分布，都能通过 GANs 进行逼近， 建立了基于生成器和判别器的正则化理论，提出了生成器 - 判别器对正则化的新概念，为分布估计提供了有效的统计保证。

Nov, 2018