本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。

Jul, 2020

本文提出了一种称为 SDLGM 的稀疏深度潜在生成模型，可以通过限制表征的非零特征的数量实现数据的稀疏学习，其生成的稀疏表示可以根据观察本身调整，并使用 Gumbel-Softmax 分布进行两步采样生成，采取蒙特卡罗梯度估计器的变分方法进行推论和学习，实验结果表明其性能优于传统的生成模型。

Apr, 2023

本文提出一种新的分段常数分布作为一种复杂的潜在因素分布，以更好地建模实际数据集中的多模式潜在因素，实验结果表明，我们的方法在自然语言处理任务中实现了显著的提高。

Dec, 2016

本文提出了一种混合模型方法，将连续潜在空间的概率模型与可计算的概率电路相结合，用于密度估计，通过实验证明这种方法在许多标准密度估计基准测试中超越了以往的可计算模型。

Sep, 2022

本文提出了一种框架来无监督地学习清晰而可解释的连续和离散化的表示形式，通过增加变分自动编码机的连续潜在分布，并控制每个潜在单元中编码的信息量，展示了如何自动地从数据中发现连续和分类变化因素。实验结果显示，该框架在各种数据集上对连续和离散的生成因素进行了区分，并在离散生成因素突出时优于当前的 disentangling 方法。

Mar, 2018

本文提出了一种适用于混合数据的图模型，该模型对高维数据来说简单而灵活，采用回归算法和群体套索惩罚法来拟合模型，并将其应用于 CAL500 音乐注释数据集，成功得到了将音频信号的连续特征与流派、情感和用途等分类变量之间关系的稀疏而可解释的图模型。

Apr, 2013

研究基于概率分布的机器学习任务中，提出了几种概率映射函数，为了控制稀疏度，开发出了一个统一框架并提出了两种新的 sparse formulations，并在多标签分类场景中开发了新的凸损失函数，用于计算注意力权重，从而在类似神经机器翻译和抽象摘要等标准 seq2seq 任务上获得更好的性能。

Oct, 2018

开发了一种不需要连续嵌入的离散分布的变分流，称为 MAD Mix，通过测量保持和离散可逆映射来生成离散目标的可靠逼近，并且比连续嵌入的流训练速度显著更快。

Aug, 2023

本文将 alpha-entmax 方法扩展到连续域，同时提出了基于连续域注意机制的梯度反向传播算法，并通过在文本分类、机器翻译和视觉问答方面的实验表明了连续注意力机制的应用。

Jun, 2020

通过研究生成模型中的推进模型，发现模型的 Lipschitz 常数必须很大才能拟合多模态分布，而稳定性与能力之间存在可证明的权衡关系。同时，基于可证的发现，在一维和图像数据集上验证了模型的稳定性，并证明了堆叠网络和扩散模型的生成模型不会饱经多模独立现象下的诸多限制。

Jun, 2022