Oct, 2023

高维非参数自适应重要性采样的加权样本变分自编码器

HTML
PDF
TL;DR使用加权样本进行概率密度函数估计是所有自适应重要性采样算法的主要基础。本文提出使用变分自编码器参数化的近似模型来解决传统非参数模型或参数模型在高维度和灵活性方面的问题，并结合重要性采样算法对目标分布进行采样。
发现论文，激发创造
  • 重要性加权自编码器

    本文提出了IWAE，一种基于VAE的生成模型，将后验分布建模的灵活性提高，使得学习到的潜空间表示更加丰富，从而取得更好的密度估计结果。

    Sep, 2015

  • 连续潜在空间和变分推断的可学习显式密度

    本文研究变分自编码器（VAE）的先验分布和后验分布。首先，我们将VAE的学习分解为逐层密度估计，并认为灵活的先验分布有益于样本生成和推断。其次，我们分析了反自回归流的族群（inverse AF），并表明在进一步改进后，反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化VAE，而无需在潜在实空间中使用因子高斯分布。

    Oct, 2017

  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到KL散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 分层重要性加权自编码器

    引入层次结构的关联采样方案可以减少重复样本，从而减小重要性估计方差并提高推理性能。

    May, 2019

  • 使用退火重要性采样学习深度生成模型

    本文提出了使用退火重要性采样(annealed importance sampling)来学习深度生成模型的方法，该方法是变分推断(variational inference)和马尔可夫链蒙特卡罗(Markov chain Monte Carlo)两种主要的近似方法的结合，通过实验表明该方法比重要性加权自编码器(importance weighted auto-encoders)更好地建模了概率密度，并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。

    Jun, 2019

  • 混合自动微分变分推断

    本论文引入了分层抽样的方法，实现了对混合分布的自动微分变分推断（ADVI）； 并且通过建立重要性加权自编码器（IWAE）类似的较紧下界，进一步验证了该方法相较于传统ELBO或IWAE的优势，特别是在latents变量中有多峰分布时，表现出更高的准确性和更好的校准性。

    Mar, 2020

  • 蒙特卡罗变分自编码器

    本文提出了Monte Carlo VAE方法，并通过在多个应用中的表现来说明其性能，该方法在Variational auto-encoders、Evidence Lower Bound、 importance sampling、Annealed Importance Sampling等方面都做了较全面的探讨。

    Jun, 2021

  • 使用变分自编码器进行潜变量建模：一项调查

    本文深入探讨了概率分布和变分自编码器的理论，并总结当前研究现状；适合机器学习初学者了解概率分布学习中的核心思想及其在深度学习领域的应用，并为此子领域的新参与者提供了一个适宜的入门机会。

    Jun, 2022

  • 基于$χ^2$散度的变分重要采样

    通过最小化前向χ^2散度来优化建议分布以增强对数似然估计，我们引入了一种称为变分重要性抽样（VIS）的新方法，实现了直接估计和最大化对数似然。将VIS应用于各种流行的潜变量模型，包括混合模型、变分自编码器和部分可观测广义线性模型，结果显示我们的方法在对数似然和模型参数估计方面始终优于最先进的基准模型。

    Nov, 2023

  • 黑盒变分推断中的高效混合学习

    通过引入Multiple Importance Sampling Variational Autoencoder（MISVAE）和构建两个新的black box variational inference（BBVI）下的ELBO估计器，本文提出了解决了混合变分分布中元素个数扩展问题的两个方法，并在多个实验中验证了其可行性。

    Jun, 2024