Sep, 2019

参数后验收缩速率的扩散过程视角

PDF
TL;DR通过控制随机过程的矩和取极限，我们通过 Langevin 扩散过程分析贝叶斯模型中参数的后验收缩速率，并特别关注了结构和随机摄动边界对于结果的影响，此外，基于该技术，我们也证明了后验的 Bernstein-von-Mises 保证的非渐近版本。
bayesian modelsposterior contraction rateslangevin diffusion processstochastic perturbation boundsbernstein-von-mises
发现论文，激发创造
  • Langevin 动力学的耦合和定量收缩率

    我们引入一种新的概率方法来量化（动力学）Langevin 过程的平衡收敛性，基于随机微分方程的两个解的特定组合，它产生了一种特定的 Wasserstein 距离缩小，并为过阻尼和欠阻尼之间的边界提供相当精确的收敛界限。

    Mar, 2017

  • 离散时间扩散模型的非渐近收敛：新方法和改进速率

    去噪扩散模型是一种将噪声转换为数据的强大生成技术，本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证，并提出了一种加速采样器来提高收敛速度和维度依赖性。

    Feb, 2024

  • 有限混合模型中种群多面体的后验收缩

    研究数据量增加时混 合模型中潜在群体结构的后验收缩行为，采用混合模型的几何视图，通过对群体多面体内部随机抽样产生数据，确定后验收缩速度，并根据多面体上的 Hausdorff 度量和最小匹配欧几里得度量进行评估，开发的工具包括分层模型的后验渐近理论和凸几何学观点。

    Jun, 2012

  • 高斯过程回归中共轭梯度和 Lanczos 近似后验收缩率

    高斯过程回归模型在现代统计学和机器学习中成为一个核心主题，然而在大规模样本中，要得到精确的后验结果是计算上不可行的，因此我们分析了概率数值方法中一类最近提出的近似算法，结合数值分析和 Kernel 矩阵的谱浓度结果得到了极小化收缩速率的理论结果，通过数值实验验证了我们的理论发现。

    Jun, 2024

  • 扩散模型在视觉、语言和控制中的难以推断的摊销

    本文研究了扩散生成模型的后验采样问题，提出了一种相对轨迹均衡的数据无关学习目标，并将其应用于视觉、语言和控制等领域，展示了其在生成建模和离线强化学习中的潜力。

    May, 2024

  • 连续时间随机过程的期望传播

    通过 Bayesian 框架和变分近似推断将离散时间观察和连续时间约束转化为在扩散过程的轨迹上的后验测量逆问题，同时使用化学朗之万方程将此逼近推广到广泛的离散状态马尔可夫跳跃过程中，取得了计算效率高和逆问题的较好逼近的实验结果。

    Dec, 2015

  • 高斯过程回归中稀疏变分近似的收缩速率

    研究变分贝叶斯方法在高斯过程回归模型中的理论特性，针对 Titsias 引入的感应变量方法推导出相应变分贝叶斯（VB）后验获得收缩速率的充分条件，证明了针对三种特定的协方差核函数（Matern 核函数，平方指数核函数和随机级数先验）VB 方法可以通过适当选取足够多的感应变量实现优化、极小的收缩速率，并通过数值实验验证了理论发现。

    Sep, 2021

  • 非参数仪器变量模型拟贝叶斯分析

    本文着眼于以准 - Bayesian 分析非参数工具变量模型为主题，并重点关注准后验分布的渐近特性。

    Apr, 2012

  • 黎曼流形上 Matérn 高斯过程的后置收缩速率

    本研究论证了紧致黎曼流形上的内蕴 Matérn 高斯过程和外蕴过程在收敛速率上相符，通过在多个实例上的实证结果表明内蕴过程在实践中可以获得更好的性能，这加强了对几何高斯过程的数据效率水平进行细粒度分析的必要性。

    Sep, 2023

  • 基于扩散的生成模型的更快非渐进收敛探索

    该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

    Jun, 2023