- 稀疏高维数据上基于推理网络的学习挑战
本文研究基于深度神经网络的非线性因子分析中的参数估计问题,探讨了大规模、稀疏、高维数据中的欠拟合问题,提出了受随机变分推断启发的迭代优化方法及改进的稀疏数据表示方法,实现了在文本计数数据集上的最新结果和在 Top-N 推荐任务上的优异表现。
- 通过神经网络高斯过程提高深度学习输出不确定性估计和泛化能力
提出一种简单的方法,将神经网络和高斯过程相结合,以更好地估计输出的不确定性和提高模型的泛化性能,并且采用随机变分推断算法和随机梯度下降法进行模型优化。实验结果表明,该方法在两个时空数据集上均表现出优异的性能。
- KDD基于贝叶斯思想的非线性支持向量机在大数据中的应用
该论文提出了一种通过应用随机变分推理和诱导点来加速贝叶斯非线性支持向量机推理的方法。实验表明,该方法比现有的贝叶斯方法更快,可以轻松扩展到数百万个数据点。除了准确的预测不确定性估计和自动超参数搜索外,该方法还提供了其他功能。
- NIPS随机变分深层核学习
本研究提出一种新的深度内核学习方法和随机变分推断程序,利用加性基础内核方法将子集的输出特征整合入深度神经网络以提高分类性能,并比较了该方法与深度神经网络、SVM 和基于高斯过程的方法在多个分类基准测试中的性能。
- 深高斯过程的随机特征扩展
本文提出使用随机变分推断基于随机特征扩展来训练 Deep Gaussian Process 模型的方法,该方法在多个数据集上均具有可扩展性和良好的性能,实现了量化不确定性的精确估计。
- 使用复合泊松分解的动态协同过滤
本文提出了一种基于复合泊松矩阵分解的共轭数值稳定动态矩阵分解(DCPF)方法,用于建模平滑漂移的潜在因素和预测未来的用户 - 项交互,通过 Netflix、Yelp 和 Last.fm 等数据集的测试,DCPF 模型的预测准确性优于目前流行 - 使用神经网络组合图模型以获取结构化表示和快速推断
提出了一种将概率图模型和深度学习相结合的模型框架,通过将神经网络用于观测模型,提高了潜在变量的图形结构;针对推断,使用了可视化的自编码器,利用识别网络输出共轭潜力的图形模型近似分布;所有的这些模型组件都是同时学习的,从而得到了一种可扩展的算 - 最大间隔非参数潜在特征模型用于链路预测
本论文介绍了一种利用 max-margin learning 和 Bayesian nonparametrics 将判别性潜在特征和非参数潜在特征融合起来进行链接预测的方法,并提供了一种有效的 stochastic variational - 状态空间模型的黑箱变分推断
通过应用随机变分推断方法,提出一种结构化高斯近似后验,用于近似后验更普遍、非线性的潜变量生成模型,且相较于特定非共轭模型的定制化变分方法具有更好的表现;该方法旨在用于潜在动态结构模型的黑盒近似推断。
- 基于混合成员随机块模型的可扩展 MCMC 算法
本文提出了一种基于随机梯度马尔科夫链蒙特卡罗算法的用于混合成员随机块模型中可扩展推理的方法。该算法利用了随机梯度黎曼 Langevin 采样器,每次迭代都能实现更快的速度和更高的精度,比基于随机变分推理的当前最先进算法更优,同时我们还开发了 - 用随机梯度变分贝叶斯近似伽马分布
本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题,并应用到伽马分布潜在变量中,以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和 - 可扩展的兴奋性点过程网络的贝叶斯推断
该论文研究了如何基于一个 mutually-excitatory point process(如 Hawkes process)的可观测活动来发现潜在的网络结构,并提出了基于离散时间的计算有效的随机变分推断算法,最终在胶质钙成像数据上进行了 - ICMLBeta Bernoulli 过程的随机变分算法实证研究
研究使用 SVI 在稀疏潜在因子模型(尤其是 BPFA)中的性能,发现使用 Gibbs 采样维护特定后验依赖关系非常有效,但在 BPFA 中不同的后验依赖关系与 LDA 不同,并且模拟内局部变量依赖性的近似方法表现最佳。
- 深高斯过程中的嵌套变分压缩
本文中提出了一种深度高斯过程的变分压缩方法,可以用于灵活地对数据进行概率建模,并实现易于并行化或改进为随机变分推断的较低上界似然估计。
- 随机变分推断的平滑梯度
本文介绍了一种改进的随机变分推断方法,其中使用移动平均方法构建代替自然梯度的向量,得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。
- 结构化随机变分推断
文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性,使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑,从而提高参数估计的精度。
- 自动编码变分贝叶斯
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
- 大数据的高斯过程
介绍了一种基于随机变分推断方法的高斯过程模型,该方法使高斯过程模型能够应用于包含数百万数据点的数据集,并在需要执行变分推断的情况下,演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法,并将其扩展到基于高斯过程的潜变量模型和具有非高 - 随机变分推断
本研究开发了基于随机变分推断的可伸缩算法,用于逼近后验概率分布,并且针对一类大规模的概率模型进行了技术开发;对两个概率主题模型进行了演示并应用于大量文献数据的分析,其中包括自然杂志、《纽约时报》和维基百科,结果表明随机变分推断可轻松处理大型