使用离散潜变量学习表征的稀疏性

Apr, 2023

使用离散潜变量学习表征的稀疏性

Learning Sparsity of Representations with Discrete Latent Variables

Zhao Xu, Daniel Onoro Rubio, Giuseppe Serra, Mathias Niepert

TL;DR本文提出了一种称为 SDLGM 的稀疏深度潜在生成模型，可以通过限制表征的非零特征的数量实现数据的稀疏学习，其生成的稀疏表示可以根据观察本身调整，并使用 Gumbel-Softmax 分布进行两步采样生成，采取蒙特卡罗梯度估计器的变分方法进行推论和学习，实验结果表明其性能优于传统的生成模型。

Abstract

deep latent generative models have attracted increasing attention due to the capacity of combining the strengths of deep learning and probabilistic models in an elegant way. The data representations learned with the models are often continuous and dense. However in many applications, <

deep latent generative models sparse representations sparsity constraint gumbel-softmax distributions amortized variational method

发现论文，激发创造

通过稀疏性高效消除离散和结构化潜变量的影响

本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。

Jul, 2020

学习潜变量高斯图模型

本文介绍了一种条件稀疏的潜变量高斯图模型（LVGGM），利用正则化的极大似然方法来学习具有低秩加稀疏结构的逆协方差矩阵，并在高维情况下得到了新的参数估计误差界限。

Jun, 2014

具有稀疏性的判别高斯混合模型

通过稀疏贝叶斯学习，提出了一种基于判别高斯混合模型（Sparse Discriminative Gaussian Mixture, SDGM）的分类器。实验结果表明，该方法优于现有的基于 softmax 的判别模型。

Nov, 2019

混合分布的稀疏通信

本文介绍一种新的 “直和” 基础度量方法用于概率简单形式下的混合随机变量，并对混合离散变量模型的表示与采样提出两种策略，通过基于混合随机变量的自动编码器的实现和表现，验证该方法的有效性。

Aug, 2021

结构化解耦表征

本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。

Apr, 2018

用于低资源文本分类的离散潜在变量表示

本文探讨深层潜变量模型的离散潜变量模型，比较不同方法在处理复杂问题时表现的优劣，并在低资源文档和句子分类中展示了更好的结果，其中使用的 Hard EM 极具优势。

Jun, 2020

使用稀疏扰动进行弱监督表示学习

通过对连续潜在分布进行观测，在只有弱监督信号的情况下，可以识别与无源干扰相关的潜在因素，这可以通过对潜在变量的块状扰动实现，且可以提供一种基于此理论的自然估计过程。

Jun, 2022

语言作为潜变量：离散生成模型用于句子压缩

通过深度生成模型进行文本压缩，利用离散语言模型分布作为文档的潜在表示，生成模型引入离散语言模型的概念，通过变分自编码器进行推断，本研究在大量监督数据训练的情况下，得出抽象和提取式压缩的最新成果，并探索半监督压缩场景。

Sep, 2016

用于数据高效文本分类的潜变量生成模型

通过向生成式文本分类器引入离散潜变量，并探究几种图模型配置，我们提高了它的性能，尤其在小数据集下，同时分析了模型的可解释性。

Oct, 2019

一个判别性贝叶斯高斯过程潜变量模型用于高维数据

我们提出了一种新的非参数建模方法 LDGD，利用高斯过程（GP）将高维数据映射到潜在的低维流形，通过推断潜变量来有效捕捉数据中的不确定性，提高了模型的预测准确性和鲁棒性。LDGD 不仅能准确地推断流形，而且在预测标签方面的准确性也超过了现有的方法。我们还通过引入诱导点来降低大型数据集中高斯过程（GP）的计算复杂度，实现了批处理训练，提高了处理大规模数据集的效率和可扩展性。此外，我们证明了 LDGD 在预测有限的训练数据标签方面的较高准确性，突显了它在数据可用性受限的场景中的效率和有效性。这些特点为高维数据分析中非参数建模方法的发展奠定了基础，特别是对于高维且复杂的数据领域。

Jan, 2024