VFunc:一个用于函数的深度生成模型
该论文提供了一个新的关于机器学习问题的统一观点,将其框架化为在概率量度空间上定义的泛函最小化问题。通过这个框架,我们可以将生成对抗网络、变分推断以及强化学习中的演员 - 评论家方法等看作是同一问题。我们介绍了泛函梯度下降(PFD)算法,并展示了它如何恢复已有的相应算法及其独立开发的背景。
Jan, 2019
本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法,并指出了使用 Kullback-Leibler divergence 方法的优劣,提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。
Nov, 2020
文章探讨了一种在预测空间中采用 Dirichlet 先验和进行近似函数空间变分推理的方法,通过该方法,可以将相同的函数空间先验合并到不同的模型中,提高可扩展性,改进不确定性量化和敌对抗性。
Jul, 2023
该文章提出了一种验证深度概率模型的新框架,在模型输出过程中采样潜在变量并考虑其所需的条件输入,以高概率满足线性约束,并能够有效地验证功能空间中感兴趣的属性(单调性、凸性)
Dec, 2018
Bayesian 神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择,而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题,我们使用了一种基于广义 VI 的方法结合正则化的 KL 散度,可以被认为是 BNN 中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明,我们的方法在合成数据和小型现实世界数据集上具备 GP 先验指定的特性,并与基于函数和权重空间先验的 BNN 基线相比,在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。
Jun, 2024
本文提出一种框架,通过利用强大的变分推断子程序来直接处理深度 Q 网络(DQN)中值函数参数的概率分布,建立了我们提出的代理目标与变分推断损失之间的等价关系,并在大规模链式马尔科夫决策过程(MDP)上实现了高效的探索和表现。
Nov, 2017
该研究提出了一种称为 fBNN 的函数变分贝叶斯神经网络,该网络使用随机过程来定义 ELBO,可以指定包含丰富结构的先验分布,提供可靠的不确定性估计并适用于大型数据集。
Mar, 2019
该论文探讨了一种用于训练概率隐变量模型的变分方法,其中结合了最近引入的 Spread Divergence 方法,可以应用于使用任何 f-divergence 训练大量的潜变量模型。
Jul, 2019