变分 f 散度最小化

Jul, 2019

Variational f-divergence Minimization

Mingtian Zhang, Thomas Bird, Raza Habib, Tianlin Xu, David Barber

TL;DR该论文探讨了一种用于训练概率隐变量模型的变分方法，其中结合了最近引入的 Spread Divergence 方法，可以应用于使用任何 f-divergence 训练大量的潜变量模型。

Abstract

probabilistic models are often trained by maximum likelihood, which corresponds to minimizing a specific f-divergence between the model an

probabilistic models maximum likelihood f-divergence generative adversarial networks latent variable models

发现论文，激发创造

f-GAN: 使用变分差异最小化训练生成性神经采样器

本文研究了生成性神经采样器的概率模型及训练方法，探讨了各类分歧函数的使用对训练效率和生成模型的影响。

Jun, 2016

用 f - 散度最小化训练深度能量模型

本文提出了 f-EBM 框架，该框架利用 f 散度来训练 EBM，实验结果表明 f-EBM 的优越性以及使用 f 散度训练 EBM 的好处。

Mar, 2020

$f$- 分散基于分类：超越交叉熵的使用

通过采用贝叶斯观点，将分类任务形式化为最大后验概率问题，并基于变分表示提取了基于 $f$-divergence 的五个后验概率估计器的目标函数类。此外，通过改进现有方法，提出了一种基于自适应 log 转换的新目标函数以及后验概率估计器。理论上证明了后验概率估计器的收敛性，并在玩具示例、图像数据集和信号检测 / 解码问题的三个应用场景中进行了数值测试，结果表明提出的估计器的有效性，而自适应 log 转换具有几乎所有场景中最高的分类准确性。

Jan, 2024

通过 f - 分离最小化来对齐语言模型与偏好

提出了一种新的方法 f-DPG，它允许使用任何 f - 分歧来近似任何目标分布。f-DPG 统一了 RLHF 和 GDC 的两个框架，并且演示了不同的分歧优于近似不同目标。

Feb, 2023

最小概率流学习

本文提出了一种新的参数估计技术，该技术无需计算不可处理的归一化因子或从模型的平衡分布中采样，通过建立动态算法将观测到的数据分布转化为模型分布，并通过使得数据分布与运行该动态算法的分布的 KL 散度最小化来进行优化，在 Ising 模型等情况下展示比当前先进技术更快的学习效率和更低的误差。

Jun, 2009

生成模型的自适应密度估计

该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

Jan, 2019

基于变分 $f$- 散度和错排的判别式互信息估计

本文提出了一种新颖的基于 $f$-divergence 变分表示的识别互信息估计器，并在基准情景下进行的实验表明，该方法在准确性和复杂性方面优于现有的神经估计器。

May, 2023

f - 散度估计的实用和一致性

本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

May, 2019

基于健壮分歧的变分推断

本文提出了一种鲁棒性强的伪贝叶斯变分方法，它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离，从而实现对深度网络等复杂模型的处理，并在实验中表现出比普通变分推断更好的鲁棒性。

Oct, 2017

利用深度潜变量模型的精确似然

本文探讨了深度潜变量模型中精确似然的一般性质及其在实践中的应用，特别是关于参数估计和缺失数据插补。作者介绍了一种基于条件似然的算法，用于深度潜变量模型中的缺失数据插补，并在多个数据集中对比了该算法和通常用于 DLVMs 的插补方案，结果表明该算法显著优于传统方案。作者还探讨了无约束模型似然函数无界的问题及其在模式崩溃中的作用，并提出了确保最大似然估计存在的方法。

Feb, 2018