- NLP 抽样:将 MCMC 与 NLP 方法相结合用于多样化约束抽样
困难约束下生成多样样本是许多领域中的核心挑战,本研究旨在提供一个综合视图和框架,以结合 MCMC、约束优化以及机器人领域的方法,并通过实证评估来了解它们的优势。我们提出了 NLP 抽样作为一个通用问题形式,提出了一族基于重启的两阶段方法作为 - 用于预测尾重的客户终身价值的流式贝叶斯建模
我们开发了一种适用于层级贝叶斯模型和广义线性模型(GLM)的在线学习 MCMC 方法,并开发了一种广义的重尾 LTV 模型。我们通过大型移动应用的商业 LTV 数据对这两个方法进行了演示。
- 基于纯差分和高斯差分隐私的可处理的 MCMC 私密学习
提出了一种使用后验抽样和近似采样方法相结合的算法,通过引入噪声来保持隐私性,并结合局部化步骤,在 DP-ERM 问题中实现了最佳的速率。
- 用于马尔可夫数据的流式主成分分析
研究了数据点从无法分解的 Markov 链中采样的流式主成分分析(PCA)问题,提出了一个新的算法并证明了其收敛速率,解决了使用 MCMC 算法从链的稳态分布中采样的问题。
- 机器学习与贝叶斯计算的未来
概述:本文使用贝叶斯模型解决了复杂数据的建模问题,提出了通过机器学习的方法来改善后验计算的潜力,并探讨了正则化流、贝叶斯核平衡、分布式贝叶斯推理和变分推理等未来的具体发展方向。
- 减少,重复利用,回收:基于能量扩散模型和 MCMC 的组合生成
本文探讨了基于评分的解释下的扩散模型的新的条件化方式、修改、及重复利用方法,研究了目前技术下导致某些类型的组合失败的原因,并提出了解决方案,同时提出了基于能量的参数化的扩散模型,该模型得以利用新的组合算子和更复杂的 Metropolis 修 - BART 简化版本混合时间下界
本文提出了 BART 的简化版本,并证明了 BART 的混合时间与数据点数量之间的联系。我们还表明 BART 使用的样本量需要随数据点数量增加而增加。
- 决策树上的单个 MCMC 链并行化
本研究提出一种方法,通过多核处理减少时间来实现在笔记本电脑上并行化单个 MCMC 决策树链,同时结果与常规串行实现相同。同时计算了在多处理器体系结构上利用该方法可以获得的理论和实际运行时间的降低,并表明该方法可以实现快 18 倍的运行时间。
- ICML基于 Langevin Monte Carlo 的上下文多臂赌博机算法
探究 Thompson 抽样算法在上下文强化学习中的效率,提出了一种使用 Langevin Monte Carlo 和 Markov Chain Monte Carlo 方法直接从后验分布进行采样的算法,避免了高维情况下对后验分布的高斯近似 - ICML变分退火重要性采样的替代似然函数
我们提出了一种可以与其他变分参数一起学习的代理似然函数,以此支持两种算法类别优势的组合,此算法允许用户在推理保真度和计算成本之间进行直观权衡,适用于概率编程框架中黑盒子推理。
- 具有非牛顿动量的哈密顿动力学用于快速采样
提出了一种基于 Hamiltonian 动力学的新型采样方法,这种方法通过非牛顿动量在超过状态空间中的确定性动力学下,从指定的能量函数中精确地采样出目标分布,比传统的 MCMC 方法收敛更快且无需随机步骤,并且可以用现有的 ODE 解算器求 - 生成 VoxelNet:学习基于能量的模型进行 3D 形状合成与分析
本论文提出了一种基于能量的深度 3D 模型来表示体积形状,可实现高质量 3D 图案生成和数据特征提取,并能应用于对象恢复和超分辨率。
- 评分匹配的神经指数族用于无似然推断
本文提出了一种新的学习 ABC 统计量的方法 - 使用 Score Matching 培训神经条件指数族,以近似似然函数;将该似然函数插入 MCMC 中进行采样,可以在不需要更多模型模拟的情况下重复此过程,效果与相关方法相当。
- EMNLP组合约束满足的语言生成:一种树搜索增强的蒙特卡罗方法
提出了一种适用于语句生成的组合约束规范框架,通过采用高效的方法生成满足约束条件的语句,并将树搜索算法嵌入到蒙特卡罗马尔可夫链(MCMC)的候选提议过程中以探索满足更多约束条件的候选者,实验表明,这种方法在多个语言生成任务中实现了一致和显著的 - ICLR通过后验平均实现联邦学习:一个新的视角和实用算法
以后验推断方法为基础的联邦学习算法可以通过在客户端推断本地数据的后验分布来推断全局后验分布,而 FedPA 则提供了一种计算和通信高效的近似后验推断算法,使用 MCMC 进行客户端的近似推断。
- 检索 - 自适应:基于示例的比例相关信息图形自动生成
文章提出一种通过自动模仿网络上已有的设计样本,实现信息可视化自动创作的方法,包括检索阶段和调整阶段,后者采用类似于 MCMC 的迭代算法和递归神经网络来改进初稿,最终生成获得专家认可的图表。
- 渐进最优的精确小批量 Metropolis-Hastings
本文提出了一种新的精确小批量 MH 方法 TunaMH,通过调节批大小与收敛速度之间的权衡来提高效率,并在鲁棒线性回归、截尾高斯混合以及逻辑回归中验证了 TunaMH 的优越性。
- 广义能量基模型
本文介绍了广义能量模型(GEBM)的产生式建模方法,指出了其在图像生成任务和密度建模任务中的应用和比 GANS 更好的性能表现。
- 随机正常化流
提出了随机归一化流的概念,它是一种在机器学习和统计力学领域中解决概率分布采样问题的方法,具有较快的采样效率和较强的表示能力。
- tfp.mcmc: 为现代硬件构建的现代马尔可夫链蒙特卡洛工具
本文介绍了 TensorFlow Probability MCMC 图工具包的设计和应用以及 MCMC 算法对于概率编程在渐近收敛性、稳定性和估计器方差界方面的重要性。