- 利用随机变分推断的一般状态空间模型的时间序列聚类
我们提出了一种基于模型的时间序列聚类方法,使用混合通用状态空间模型(MSSMs)。该方法的优势在于能够根据具体的时间序列使用适当的时间序列模型,从而提高聚类和预测精度,并增强估计参数的解释性。该方法使用随机变分推断(stochastic v - 基于正规化流的深度变分贝叶斯网络用于利用 InSAR 图像估计地震多灾害及其影响
通过使用 Interferometric Synthetic aperture radar (InSAR) 数据,我们介绍了一种新颖的具有正态流派生的随机变分推断方法,用于联合估计从噪声干扰的 InSAR 图像中的多个未观测危险和影响。
- 自然进化策略作为随机变分推断的黑箱估计器
基于鲁棒性自然演化策略的替代估计器用于克服变分自编码器框架中的设计选择限制,实现在大型数据集上高效执行贝叶斯推理并创建不同类型的模型。
- 加速随机概率推断
本文提出了一种基于二阶方法的随机变分推断方法,通过求解变分目标函数的 Hessian 矩阵,选择了两种数值方案来实现这种方法,通过合成和真实数据的实证评估,证实了这种方法的有效性和效率。
- 具有双曲标准化流的潜变量建模
本研究论文介绍了一种在双曲空间上扩展 Normalizing Flow 的方法,使其能够更好地模拟具有分层结构的数据,并展示了该方法在密度估计和图数据重建等领域的高效性与优越表现。
- 可扩展的伯努利偏好学习模型应用于众包数据分析
采用贝叶斯方法结合矩阵因式分解和高斯过程,使用输入特征来预测个人偏好和众人共识,在大量的用户、物品和成对标记的情况下利用随机变分推断方法达到可扩展性,该方法在推荐任务和自然语言处理任务上均表现优异。
- ICLR通过贝叶斯学习深度神经网络结构来度量不确定性
这篇研究论文探究了一种新型的贝叶斯深度学习,通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计,并提出了一种有效的随机变分推断方法,以统一网络结构和权重的学习。
- 高斯过程的稀疏正交变分推断
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的 - ICML参数高斯过程回归器
提出了两种可扩展的高斯过程回归方法,通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。
- AAAI使用经验贝叶斯为贝叶斯深度神经网络指定权重先验
提出了 MOdel Priors with Empirical Bayes using DNN(MOPED)方法,利用推理后验进行变分推断。 实验证明,该方法可以实现可扩展的变分推断并提供可靠的不确定性量化。
- 高斯过程条件密度估计
本文介绍了一种基于高斯过程的贝叶斯条件密度估计方法,利用隐变量来扩展模型输入,可以应用于小数据集和大数据集,有效地建模稀疏数据区域和多条件共享结构,并应用于出租车乘客下车的时空密度估计、非高斯噪声建模以及少样本学习的实际问题。
- Pyro: 深度通用概率编程
Pyro 是一个基于 Python 平台,用于开发 AI 研究中的先进概率模型的概率编程语言。它使用基于 PyTorch 的随机变分推断算法和概率分布来应对大型数据集和高维模型,并利用 Poutine 的库来构建模型特定的算法行为。
- 深度模型变分贝叶斯的良好初始化
本文提出了一种基于贝叶斯线性模型的新型逐层初始化策略,用于解决随机变分推断的初始化问题,并在回归、分类等任务中进行了广泛验证,与启发式初始化相比,能够实现更快更好的收敛。
- ACL使用可扩展的贝叶斯偏好学习寻找有说服力的论据
本文提出了一种可扩展的贝叶斯偏好学习方法,用于在没有黄金标准评分或排名的情况下识别有说服力的论点,通过开发一种用于高斯过程偏好学习的随机变分推理方法,发现贝叶斯方法可以有效地预测争论中的有说服力的论点,并且可以通过推广主动学习来降低所需数据 - NIPS非可导模型的重参数化梯度
提出了一种新的针对非可微密度模型的随机变分推断算法,通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样,估计并得出梯度的高效率降低了方差并保持偏差的不变。
- 变分拒绝抽样
本文提出了一种采用拒绝抽样方法来舍弃具有低似然的变分后验采样的方法,并使用一种新的梯度估计器,以 MNIST 数据集为例,在估计边际对数似然时,相对于现有的基于单样本和多样本的方法,可以平均提高 3.71 个 nats 和 0.21 个 n - 深层概率模型动力约束
本研究提出了一种新颖的深度概率模型的生成式公式,该公式实现了对其函数动态的 “软” 约束。通过随机变分推断建模的函数及其给定阶数的导数受到不等式或等式约束,进而表征模型和约束参数的后验分布,使得所提出的方法可以准确可伸缩地量化预测和所有参数 - 增广和缩减:针对大规模分类分布的随机推理
提出了一种称为 A&R 的新方法,结合了潜变量增强和随机变分推理的思想,用于更高效地处理机器学习中常见的分类问题。在大规模分类问题上,相比现有方法,A&R 提供了更紧的数据边际似然下界,具有更好的预测性能。
- ICML半摊分变分自编码器
我们提出了一种半摊分解方法,使用摊分变分推断 (Amortized Variational Inference,AVI) 来初始化变分参数并运行随机变分推断 (Stochastic Variational Inference,SVI) 来细 - 稀疏高维数据上基于推理网络的学习挑战
本文研究基于深度神经网络的非线性因子分析中的参数估计问题,探讨了大规模、稀疏、高维数据中的欠拟合问题,提出了受随机变分推断启发的迭代优化方法及改进的稀疏数据表示方法,实现了在文本计数数据集上的最新结果和在 Top-N 推荐任务上的优异表现。