- KDD自顶向下的贝叶斯后验抽样在和积网络中的应用
通过导出一种新的 Gibbs 采样的全部条件概率,通过边际化多个随机变量来快速获得后验分布,我们提出了一种可用于大规模 sum-product networks 的贝叶斯学习方法,同时还提出了一种超参数调优方法,通过在大规模 sum-pro - 基于共现词网络的不平衡短文本主题模型
我们提出了一种用于发现不均衡的短文本数据集中稀缺主题的简单解决方案,名为 CWUTM(基于共现词网络的不均衡短文本数据集的主题模型)。该方法通过减轻偶然词共现的影响来解决稀疏和不均衡的短文本主题的挑战。与以前的方法不同,CWUTM 利用共现 - 利用基于图形平滑的 Gibbs 采样进行蛋白质适应性优化
本文提出了一种基于 Gibbs 采样和基于图形平滑的方法,旨在消除对变异距离的限制并实现高效探索,该方法在从训练集获得的高适应性蛋白质的发现方面处于领先地位。
- 非对数凹分布的 MCMC 算法快速条件混合
本文研究 MCMC 算法的 mixing rate 问题,并根据 Poincaré inequality 定理,展示 MCMC 算法在 state space 的 subset 上的条件概率分布上快速逼近真实条件分布的能力,进而探讨该理论在 - 矩匹配去噪 Gibbs 抽样
在能量模型(EBMs)中,我们提出了一种有效的采样框架:带有矩匹配的(伪)Gibbs 采样,以便从经过 Denoising Score Matching (DSM)训练的 “嘈杂” 模型中有效采样。与相关方法相比,探讨了我们方法的优点,并展 - 基于吉布斯抽样的自动思维链推导重复提示
Reprompting 通过迭代抽样搜索 Chain-of-Thought 配方,使用 Gibbs 抽样推导出一组在多步推理方面表现良好的 CoT 配方。它在五个需要多步推理的任务中的性能均优于零样本、少样本和人类编写的 CoT 基线,并可 - ICML可扩展的 Spike-and-Slab
Scalable Spike-and-Slab is proposed as a Gibbs sampling implementation for high-dimensional Bayesian regression with a c - 自适应即时策略对接
本文提出了使用贝叶斯推断和 Gibbs 采样等技术来解决多智能体强化学习协作中的协调难题,以实现智能体对人类和其他智能体的有效交互,并在 Hanabi 这个复杂的纸牌游戏中表现出了强大的能力。
- ICML生成流网络用于离散概率建模
本文提出了一种基于能量的生成流网络 (EB-GFN) 概率建模算法,该算法通过随机构造数据策略来建模生成过程,并将昂贵的 MCMC 探索在从 GFlowNet 中采样的固定数量的操作中分摊开来。我们展示了 GFlowNet 如何近似执行大块 - AAAI基于片段聚合的混合成员随机块模型
本文提出了一种基于分裂聚合非参数方法的混合成员随机块模型,可以较好地应用于网络数据的学习和社区结构的建模,同时进行了合成和真实数据的验证。
- AAAI使用高阶特征交互在分层概率模型中的偏差 - 方差折衷
本研究提出了一种有效的算法来研究使用隐藏层和高阶交互的 Boltzmann 机的偏差 - 方差分解。研究结果表明,使用高阶交互可以产生更少的方差,具有相当的误差大小和使用隐藏层相似的数量级。
- AAAI在句子生成中使用鉴别器:一种 Gibbs 采样方法
本论文提出了一种使用 Gibbs Sampling 的新框架来生成限制条件下的句子,通过逐步迭代更新候选句子,并用新单词取代旧单词,证明了该方法生成的句子具有合理性和多样性。
- ICML使用 DoGS 改善 Gibbs 采样器扫描质量
使用 Dobrushin-optimized Gibbs samplers (DoGS) 为基础,提供量身定做的变量选择顺序,在总变异距离到稳态方面提供了明确的上下限,明显降低了抽样预算,并证实了在联合图像分割和物体识别等方面的实际优越性。
- 批处理高维贝叶斯优化:通过结构核学习实现
本文提出了一种处理高维黑盒函数优化挑战的方法 —— 通过 (1) 推断函数的潜在加法结构以进行更加高效和有效的贝叶斯优化,(2) 并行进行多次评估以减少方法所需的迭代次数。通过 Gibbs 抽样学习潜在结构,并使用定向点过程构建批量查询。实 - ACL使用高斯混合模型进行无监督对话行为识别
本文介绍了一种用于对话行为归纳的新的无监督方法,使用真实值矢量对话句子进行表示,并以高斯混合估计发射概率建模对话作为隐马尔科夫模型,使用吉布斯采样进行后验推断。在标准的 Switchboard-DAMSL 语料库上,与强监督基线相比,我们的 - NIPS快速贝叶斯非负矩阵分解与三因子分解
本论文提出一种快速变分贝叶斯算法,用于实现非负矩阵分解和三因式分解,相对于 Gibbs 采样和非概率方法,我们的方法可以在每次迭代和时间步(挂钟时间)中实现更快的收敛,并且不需要额外的样本来估计后验,特别地,我们的变分贝叶斯方法提供了三因式 - EMNLP潜在树语言模型
本文介绍了潜在树语言模型(LTLM),该模型将给定句子的语法和语义编码为单词角色树。将 LTLM 与 4 元修改 Kneser-Ney 语言模型相结合,通过线性插值,在英语和捷克语语料库中的实验表明,与独立的 4 元修改 Kneser-Ne - 广义标记多伯努利滤波器的高效实现
本文提出了一种将预测和更新结合为单一步骤的广义标记多伯努利(GLMB)滤波器高效的实现方法。相比于先前的方法,本方法仅需要每次迭代进行一次截断。此外,还提出了一种基于吉布斯采样的有效截断算法。所得到的实现在测量数量的线性复杂度和假定物体的二 - Gibbs 抽样中的扫描顺序:在扫描顺序有影响的模型中以及其影响程度的界限
使用 conductance 方法增加状态空间进行研究,证明从系统扫描中得到的混合时间与从随机扫描中得到的混合时间最多相差多项式阶。
- 异步 Gibbs 采样保证快速混合和低偏差
本文研究异步 Gibbs 抽样中的偏差和混合时间问题,展示理论结果与实验结果的相符性。