利用学习和推理的统计数据

NIPSFeb, 2014

Exploiting the Statistics of Learning and Inference

Max Welling

TL;DR该研究论文探讨了在面对包含海量数据集和需要超级计算机执行的模拟时，如何利用数据与模型之间的固有统计学特性来提高学习和推理的效率，并提出了相应的基于随机梯度的算法来检测概率、提高 MCMC 的更新效率和决定参数更新的接受或拒绝，同时探讨了在大数据和大模拟时代中 Bayesian 方法所面临的一些计算方面的挑战。

Abstract

When dealing with datasets containing a billion instances or with simulations that require a supercomputer to execute, computational resources become part of the equation. We can improve the efficiency of learning and inference by exploiting their inherent statistical nature. We propos

big data bayesian methods computational resources mcmc sampling stochastic gradients

发现论文，激发创造

自适应采样在加速机器学习算法中的应用

巨大数据时代需要高效的机器学习算法，本论文表明，通过使用一种特殊的随机替代品，可以在几乎不降低质量的情况下，代替计算密集型子程序。

Sep, 2023

随机梯度马尔可夫链蒙特卡洛

本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗（SGMCMC）的可扩展蒙特卡罗算法，其利用数据子抽样技术降低了 MCMC 的迭代成本，并比较了其效率与 MCMC 在基准示例上的异同。

Jul, 2019

机器学习与贝叶斯计算的未来

概述：本文使用贝叶斯模型解决了复杂数据的建模问题，提出了通过机器学习的方法来改善后验计算的潜力，并探讨了正则化流、贝叶斯核平衡、分布式贝叶斯推理和变分推理等未来的具体发展方向。

Apr, 2023

关于大数据的马尔科夫链蒙特卡罗方法

本文综述了最近在机器学习和计算统计学领域提出的两类解决元数据分析中基于独立假设的马尔科夫链蒙特卡罗方法的方法：分而治之的方法和基于子采样的算法，并提出了一种新颖的基于子采样的方法，并在某些统计模型的有利情况下，每次迭代可以要求少于 $O (n)$ 数量级的数据点似然性评估，然而，在目标后验分布的 Bernstein-von Mises 逼近存在缺陷的情况下，我们目前只能提出能在基于子采样的方法中表现良好的方法，而在其他情况下这仍然是一个未解决的挑战。

May, 2015

贝叶斯方法在大型学习中的应用

本文综述了大数据时代的机器学习中贝叶斯方法的最新进展，其中包括调整模型复杂度的非参数贝叶斯方法、通过后验正则化提高灵活性的正则贝叶斯推断，以及基于随机子采样和分布式计算的可扩展算法和系统。

Nov, 2014

面向通用、可扩展的贝叶斯教学框架及其在主题模型中的应用

通过基于人类教学的伪边际抽样实现机器学习的普适性教学方法，成功地在主题模型上进行训练，并在电影简介数据中验证了该方法的优势。

May, 2016

启用图形重新参数化，在贝叶斯深度神经网络中实现 1000 + 次蒙特卡罗迭代

深度学习模型不确定性估计中，传统的高斯分布不一定适用。本研究提出了一种构建计算图框架的方法，通过识别概率分布族，实现计算图的纬度独立或者仅仅弱相关，并进行蒙特卡罗采样来估计 KL 散度等指标，从而提高图像识别的准确性、稳定性以及训练过程中的内存和时间效率。

Feb, 2022

从隐式模型中挖掘金子，以改善无似然推理

介绍了一种新型的基于模拟的推断技术，在高维情况下，这种技术超越了传统的近似贝叶斯计算方法，并扩展了基于神经网络的代理模型的方法，并演示了这些新技术比传统方法更具样本效率和提供更高保真度的推断。

May, 2018

大数据计算的统计方法选择性综述：分布式计算、子抽样和小批量技术

该论文选择性地回顾了大数据分析的统计计算方法。该文重点研究了三类统计计算方法：(1) 分布式计算，(2) 子采样方法，以及 (3) 小批量梯度技术。

Mar, 2024

自适应数据分析中维护统计学有效性

关于如何在自适应数据分析中保证统计推断的有效性的研究，使用隐私保护技术协调估计值，并在估计指数数量的期望时取得了指数级的改进，适用于多重假设检验和虚假发现率控制。

Nov, 2014