ICLRApr, 2020

SUMO: 潜变量模型对数边际概率的无偏估计

PDF
TL;DR基于随机截断无限序列，提出了一种针对潜变量模型的对数边缘似然及其梯度的无偏估计方法，并采用编码器 - 解码器架构对编码器参数进行优化，以最小化估计方差。该估计方法不仅适用于训练模型，还可用于无偏估计和反向 KL 散度最小化等任务。实验结果表明，该方法可以提高模型测试集的可能性。
latent variable modelsunbiased estimatorencoder-decoder architecturevariance minimizationreverse kl divergences
发现论文，激发创造
  • 蒙特卡罗目标的变分推断

    通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

    Feb, 2016

  • 限制生成模型的测试对数似然

    研究提出了一种更高效的密度估计方法，从而解决了一些复杂的生成学习算法中难以估计模型质量的问题，并证明其提供了真实测试对数似然的下界和无偏估计，同时还提出了一种偏差估计的变体，可以在有限的样本数下可靠地用于模型比较。

    Nov, 2013

  • 双向蒙特卡罗求解边缘似然

    提出一种名为双向蒙特卡罗的技术，利用混合重要性采样或序列蒙特卡罗方法获得模型的准确对数边缘似然估计的随机下限和随机上限，并使用该方法获得的对数边缘似然估计真值对多种现有的最大似然估计器进行 quantitative 评估，并从中得出关于如何准确估计边缘似然估计的 insights。

    Nov, 2015

  • 通过稀疏性高效消除离散和结构化潜变量的影响

    本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。

    Jul, 2020

  • 修复破损的 ELBO

    本文讨论了深度非监督学习中最大化证据下限（ELBO）的训练方法，并推导了输入与潜变量之间互信息的下限和上限，进而通过率失真曲线描述了压缩和重构准确性之间的平衡，并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。

    Nov, 2017

  • 高斯混合模型的两轮变种 EM 算法

    本文探讨了 Bayesian 网络中无监督与有监督模型选择领域的差异，观察到标准边际似然得分标准并不能很好地适用于有监督模型选择，对比实证分析发现 Dawid 的预测序列原则的方法可以在该领域中获得最佳结果。

    Jan, 2013

  • 概率展开优化：面向潜在高斯模型的可扩展、无需反演的最大似然估计

    本文提出了一种用概率展开和迭代线性求解器相结合的方法，以绕过矩阵求逆的问题来学习潜在高斯模型，在实验中发现，这种方法可以比传统梯度期望极大化算法快一个数量级地学习潜在高斯模型。

    Jun, 2023

  • 对数超模型中的可扩展变分推断

    本研究考虑在对数超模型中进行近似贝叶斯推断，提出一种基于变分方法的 L-FIELD 方法可以更加高效地解决这个问题。进一步分析了 L-FIELD 的性质，并在图像分割中的应用证实了其可扩展性和高质量性能。

    Feb, 2015

  • 变分拒绝抽样

    本文提出了一种采用拒绝抽样方法来舍弃具有低似然的变分后验采样的方法，并使用一种新的梯度估计器，以 MNIST 数据集为例，在估计边际对数似然时，相对于现有的基于单样本和多样本的方法，可以平均提高 3.71 个 nats 和 0.21 个 nats 的准确性。

    Apr, 2018

  • Rao-Blackwell 算法优化直通 Gumbel-Softmax 梯度估计器

    本研究提出了一种对 Gumbel-Softmax estimator 进行 Rao-Blackwellization 的方法，可在不增加函数评估数量的情况下减少方差，从而降低均方误差，并在两种无监督潜变量模型中得到了实证验证。

    Oct, 2020