通过稀疏性高效消除离散和结构化潜变量的影响

Jul, 2020

通过稀疏性高效消除离散和结构化潜变量的影响

Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity

Gonçalo M. Correia, Vlad Niculae, Wilker Aziz, André F. T. Martins

TL;DR本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。

Abstract

Training neural network models with discrete (categorical or structured) latent variables can be computationally challenging, due to the need for marginalization over large or combinatorial sets. To circumvent th

neural network models discrete latent variables marginalization sparse mappings generative model

发现论文，激发创造

使用离散潜变量学习表征的稀疏性

本文提出了一种称为 SDLGM 的稀疏深度潜在生成模型，可以通过限制表征的非零特征的数量实现数据的稀疏学习，其生成的稀疏表示可以根据观察本身调整，并使用 Gumbel-Softmax 分布进行两步采样生成，采取蒙特卡罗梯度估计器的变分方法进行推论和学习，实验结果表明其性能优于传统的生成模型。

Apr, 2023

混合分布的稀疏通信

本文介绍一种新的 “直和” 基础度量方法用于概率简单形式下的混合随机变量，并对混合离散变量模型的表示与采样提出两种策略，通过基于混合随机变量的自动编码器的实现和表现，验证该方法的有效性。

Aug, 2021

Gumbel-Softmax 分类再参数化

本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

Nov, 2016

用于数据高效文本分类的潜变量生成模型

通过向生成式文本分类器引入离散潜变量，并探究几种图模型配置，我们提高了它的性能，尤其在小数据集下，同时分析了模型的可解释性。

Oct, 2019

通用图形模型的隐变量结构化预测效率

本文提出了一个有潜在变量的结构化预测的统一框架，包括隐藏的条件随机场和潜在的结构支持向量机。通过对偶性描述了这种普遍公式的局部熵逼近，在图像分割和从单个图像中理解三维室内场景的任务中表现出不错的效果，比潜在结构支持向量机和隐藏条件随机场方法要好。

Jun, 2012

蒙特卡罗目标的变分推断

通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

Feb, 2016

自然语言处理中的潜在结构学习：综述

该论文介绍了在自然语言处理和机器学习中，为了提高模型性能和解释性，学习离散结构的方法。论文提出了三种主要的方法：代理梯度、连续松弛和基于采样的边缘似然最大化，最终总结了这些方法的应用和学习的潜在结构的检查。

Jan, 2022

估计线性回归混合的频谱专家

本文提出一种新的基于低秩线性回归和张量幂法的计算高效且具有保证一致性的鉴别性潜变量模型估计方法，该方法在混合线性回归模型中被验证其收敛性能优于局部优化 EM 算法。

Jun, 2013

离散潜变量的联合梯度估计器

该研究提出了一种基于重要性采样和统计耦合的派生估计器，将分类变量重新参数化作为二进制序列，并进行 Rao-Blackwellization，结果表明该方法在离散潜变量训练中具有最先进的性能。

Jun, 2021

离散变分自编码器的直接最大化优化

本研究采用直接损失最小化方法，对可连续随机变量的变分自编码器进行重参数化以降低梯度估计的方差，我们将该方法自然地扩展到结构化离散潜在变量模型，并在无结构和有结构的离散潜在变量的变分自编码器中进行了实证检验。

Jun, 2018