自动编码变分贝叶斯的信息限制

May, 2018

Information Constraints on Auto-Encoding Variational Bayes

Romain Lopez, Jeffrey Regier, Michael I. Jordan, Nir Yosef

TL;DR本文提出了一种通过使用自动编码变分贝叶斯 (Auto-Encoding Variational Bayes) 和基于核的独立度量来强制表示之间独立性的方法，该方法可以应用于各种问题，包括学习不变表示和可解释表示的学习，同时在单细胞 RNA 测序 (scRNA-seq) 方面超过了现有技术。

Abstract

Parameterizing the approximate posterior of a generative model with neural networks has become a common theme in recent machine learning research. While providing appealing flexibility, this approach makes it difficult to impose or assess structural constraints such as conditional independence. We propose a framework for learning representations that relies

neural networks auto-encoding variational bayes independent representations single-cell rna sequencing state-of-the-art

发现论文，激发创造

自动编码变分贝叶斯

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

非参数变分自编码器用于分层表示学习

本文提出了一种层次非参数变分自编码器模型，以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间，进而在视频表征学习上取得更好的效果。

Mar, 2017

贝叶斯网络的倒置

本篇论文研究了识别网络模型的 “必要和充分” 属性，使其能够精确地模拟真实的后验分布，结果发现对于局部条件来说，完美性质 (即对于每个节点，所有的父节点都相连) 发挥了重要作用。

Dec, 2022

哈密顿变分自编码器

利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder（HVAE）模型，可以用于高效地进行变分自编码器模型训练，并构建目标受控的归一化流。

May, 2018

强制条件独立性：公平表示学习和因果图像生成

我们介绍了一种新的训练范式，通过使用动态采样策略，扩展了将条件独立性约束推广到高维特征空间的方法，从而能够在保持等概率性约束的条件下实现任何受保护属性与扩散自动编码器潜在表示的条件独立性，从而实现具有可控潜在空间的因果图像生成，而保持下游任务的高准确性。

Apr, 2024

非对称变分自编码器

提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

Nov, 2017

自编码架构中的依赖瓶颈：一项实证研究

研究通过使用 Hilbert-Schmidt 独立准则（HSIC）作为依赖度量来测量 DNN 中图层之间的依赖关系，从而更准确地研究 DNN 中的信息瓶颈和泛化特性，并在实验中评估了该方法在 auto-encoding 的应用。

Feb, 2018

一种结构化变分自编码器用于学习稀疏特征的深度层次结构

本研究提出了一种基于深度潜在随机变量的自然图像生成模型，其采用新型分布称为修正高斯，其中采用类似 spike-and-slab 的稀疏性，保持了有效的随机梯度变分推断的可微性；通过一个结构化后验分布估计函数的近似，提出了一种新型结构化变分近似方法，避免常规均场假设，并保持了生成模型的先验依赖关系，从而实现了具有许多层潜在随机变量的深度模型的联合训练。

Feb, 2016

使用变分自编码器生成可解释的表示

本文提出了一个框架，利用结构化图形模型在变分自动编码器（VAEs）的编码器中导出可解释的表达，使得在给定图形模型的结构限制下执行推理，并使用深度生成模型处理高维度的杂乱领域变得更容易。同时在无监督和半监督的情况下，通过变分目标进行端对端的学习。

Nov, 2016

变分自编码器和非线性 ICA: 一个统一的框架

该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别，从而实现了对深度潜在变量模型的拆分，论文中提出了一种新的非线性独立成分分析框架，该框架同时适用于具有噪音、欠完备或离散观测的情况。

Jul, 2019