ICMLJul, 2020

广义指数族的玻璃体对偶在热力学变分推理中的应用

PDF
TL;DR本论文通过指数族解释下的等间距选择中间分布，提出了一种基于温度变分目标（TVO）的预估期限的紧束性，并得出了一个提高模型学习性能的双重参数梯度估计器。
thermodynamic variational objectivevariational inferenceevidence lower boundexponential family interpretationdoubly reparameterized gradient estimator
发现论文，激发创造
  • 热力学变分目标

    介绍使用热力学变分目标（TVO）来学习连续和离散的深层生成模型；提供了一个计算上高效的梯度估计器；并使用 TVo 来学习深层生成模型和推理网络，取得了最前沿的模型和推理网络学习效果。

    Jun, 2019

  • 共轭指数族中的快速变分推断

    提出了一种用于概率模型的折叠变分推断算法的通用方法，该方法整合了许多现有的折叠变分推断方法，并基于较快的共轭梯度优化方法导出新的较低边际似然性的下界。

    Jun, 2012

  • 指数族的双减法和除法归一化引发的分歧及其凸变形

    指数族是统计学、信息论和机器学习中的主要模型，其可以通过累积函数或者分区函数进行标准化。减法式和除法式标准化都是严格凸函数，并且引发一对 Bregman 和 Jensen 散度。本研究首先证明了指数族非标准化密度之间的 α- 散度等于分区函数引发的 α- 偏倚 Jensen 散度。然后，研究展示了配对的准算术平均对比可用于定义凸函数变形和对应的对偶平面以及散度的比较凸性。

    Dec, 2023

  • 变分淬火

    本文介绍，通过变分推理与数据子抽样相结合，可以进行大数据集上的近似后验推断。作者提出一种针对指数族模型的确定性退火方法，引入变分调度算法来提高算法性能，并开发了一种本地变分调度算法，这使得算法精度更高。

    Nov, 2014

  • 提升黑盒变分推断

    本文提出了一种改进算法，基于强化版 Variational Inference 方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做 Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

    Jun, 2018

  • 指数族潜变量模型中精确推理与学习的统一理论

    该论文研究了概率图模型中精确实现推断和学习的条件，并开发出相应的算法，通过展示各种示例模型的应用，最终展示了如何将这些模型组合成可处理的概率图模型。

    Apr, 2024

  • VAE 近似误差: ELBO 与指数族

    本研究分析了 Variational Autoencoders 的近似误差，探讨了该误差的多种可能性并找到了其一致子集。重要的是，此子集无法通过考虑更深的编码器 / 解码器网络进行扩大，也无法降低相应误差。

    Feb, 2021

  • 基于 Bregman Power 的 k 均值算法用于聚类指数族数据

    这篇论文介绍了一种基于 Bregman 距离的聚类算法，相较于 Lloyd 的 K-means 算法，在聚类非高斯数据方面有更好的表现，并提供了理论依据和实验验证。

    Jun, 2022

  • 非对称变分自编码器

    提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

    Nov, 2017

  • 用退火变分目标改善变分推断中的可探索性

    本研究介绍了 Annealed Variational Objectives 方法，该方法通过在优化目标中加入能量调节来促进学习，实现了在层次变分方法中的训练，并在潜在空间中鼓励探索。

    Sep, 2018