Apr, 2023

变量复杂度加权温和吉布斯采样器用于贝叶斯变量选择

PDF
TL;DR本文提出了一种新的分组加权温度调整 Gibbs 采样器无需计算后验包含概率 (PIP) 以降低总的计算量，我们还提出了与之相关的 Rao-Blackwellized 估计器的方差上界，并通过实验表明，相对于现有的子集 wTGS 方法，我们的方法具有更小的方差。
subset weighted-tempered gibbs samplerposterior inclusion probabilitiesconditional pip estimationsrao-backwellized estimatorvariance
发现论文，激发创造
  • Weierstrass 取样器实现 MCMC 并行化

    本文提出了一种基于独立子集的并行 MCMC 新方法 ——Weierstrass 采样器，通过独立子集 MCMC 链的后验绘制组合来逼近完整数据后验绘制，从而提高计算效率，并通过模拟研究表明，Weierstrass 采样器与其他各种用于组合子集生成的 MCMC 链的方法相比具有很强的竞争力。

    Dec, 2013

  • Rao-Blackwell 算法优化直通 Gumbel-Softmax 梯度估计器

    本研究提出了一种对 Gumbel-Softmax estimator 进行 Rao-Blackwellization 的方法，可在不增加函数评估数量的情况下减少方差，从而降低均方误差，并在两种无监督潜变量模型中得到了实证验证。

    Oct, 2020

  • 张量蒙特卡罗：GPU 时代的粒子方法

    本研究提出了一种基于 tensor Monte-Carlo 方法来解决避免 sequential Monte-Carlo 方法的序列结构和非可导性质所带来的问题，从而获得目前为止更好的同时支持多样本的 IWAE 模型，实验结果表明该方法优于 IWAE 在多层感知器模型中训练 MNIST 数据集。

    Jun, 2018

  • 面向可扩展贝叶斯采样的统一粒子优化框架

    本文针对大数据分析，提出了一种基于 Wasserstein 梯度流的粒子优化框架，用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法，并能够更有效地解决概率测度空间上的挑战。实验结果表明，该框架能够提高贝叶斯抽样的效率和可伸缩性。

    May, 2018

  • 具有非重尾高斯损失加权采样器的稳健时序预测

    预测多元时间序列的计算密集型任务中，重采样方法无法解决重尾分布损失的问题，为此我们引入了一种新的方法：高斯损失加权采样器，通过乘以高斯分布权重来减少选择极低或极高损失样本的概率，优化了训练效率并提高了预测质量。

    Jun, 2024

  • 随机复合方差约简梯度算法的样本复杂度改进

    本文提出了一种新的随机组合减少方差的梯度算法来解决现有算法在算法设计中忽略凸性结构而导致的样本复杂度和实践问题，实验结果表明了该算法的有效性和效率。

    Jun, 2018

  • 用耦合方法界定 Wasserstein 距离

    本文提出了一种基于耦合的马尔可夫链的估计方法，用于评估渐近偏差抽样方法的质量，并在高维度下证明了该方法的有效性，将其应用于各种贝叶斯估计方法中，包括在 4500 维度下的贝叶斯逻辑回归和在 50000 维度下的贝叶斯线性回归。

    Dec, 2021

  • 蒙特卡罗目标的双重重参数化梯度估计器

    本文提出了一种称为双参数梯度估计器的方法，用于 Deep latent variable models 中的训练，并证明了该方法的可行性和有效性。

    Oct, 2018

  • 通过正则化的 Wasserstein 近似实现无噪声采样算法

    基于潜在函数模型抽样的显式基于评分的 MCMC 方法，以确定性的方式演化粒子，使用核卷积逼近的方法得到评分项，表现出快速收敛性和改进的维度依赖性相对于未调整的 Langevin 算法（ULA）和 Metropolis 调整的 Langevin 算法（MALA）的混合时间界限，在二次势函数下导出了每次迭代的分布的闭式表达，表征了方差降低，实证结果表明粒子以有序的方式行动，位于潜在函数的等值线上，此外，基于提出方法的后验均值估计器相对于 ULA 和 MALA 更接近最大后验估计器，在贝叶斯逻辑回归中表现出来。

    Aug, 2023

  • 用赌徒采样训练图神经网络

    本文提出了一种将采样方差优化视为对手赌博问题，以加速图卷积网络和图注意力网络等图神经网络的训练的方法，并在多个数据集上展示了其有效性和高效性。

    Jun, 2020