Jun, 2024

通过维度对数 Sobolev 不等式在概率测度中精确检测低维结构

PDF
TL;DR提出了一种通过最小化维度对数 Sobolev 不等式和 KL 散度，以识别目标与参考测度之间的近似关系的方法，该方法适用于高维概率测度的低维结构识别和有效抽样。
low-dimensional structureprobability measuressamplingdimensional logarithmic sobolev inequalitykl divergence
发现论文，激发创造
  • 通过能量景观分解的 Poincaré 和对数 Sobolev 不等式

    研究介绍了通过重构自由能地貌的 PI 和 LSI 常数来证明扩散的 Eyring-Kramers 公式，该方法基于 Grunewald 等人引入的双尺度方法和 Chafa"i 与 Malrieu 引入的差异均值估计。

    Feb, 2012

  • 通过 Föllmer 过程稳定的对数 Sobolev 不等式

    研究高斯对数 Sobolev 不等式的稳定性和不稳定性，给出了协方差，Wasserstein 距离和 Fisher 信息矩阵等多种可信度的度量方式并回答了一些问题，同时提出了一种新的相对于混合高斯分布进行稳定性评估的概念并给出了相关的估计方法。

    Mar, 2019

  • 非线性贝叶斯反问题中的认证降维

    我们提出了一种用于贝叶斯反问题的降维技术，包括非线性正演算子、非高斯先验和非高斯观测噪声，我们通过一个垄线函数来近似似然函数，并最小化 KL 散度的上界来建立此垄线近似。这个上界可以通过对梯度的二阶矩矩阵的计算来获得并进行上界估计，数值和理论比较证明了方法的优点。

    Jul, 2018

  • 随机定位 + 斯提尔切斯障壁 = 对 Log-Sobolev 紧致界

    证明对于任何支撑直径为 D 的 n 维吸收对称对数凹密度的对数 Sobolev 常数都是 1/D, 并基于此推导出一系列相关结论，如任何吸收对称对数凹密度上的球步行的混合时间，以及涉及中位数 / 平均值的大偏差不等式。

    Dec, 2017

  • 基于未调整 Langevin 算法的高维贝叶斯推断

    文章研究了如何使用基于 Langevin 随机微分方程的采样方法，对高维概率分布进行采样， 并通过 Wasserstein 距离和总变差距离获得收敛到平稳状态的非渐进界限。同时，对于测量和有界函数报告了平均均方误差和指数偏差不等式的界限，并提供了二分类回归的贝叶斯推断例证。

    May, 2016

  • 非线性贝叶斯最优实验设计基于对数 Sobolev 不等式

    从候选池中选择 $k$ 个实验以最大化所选子集与潜在参数之间的互信息，并通过基于 Log-Sobolev 不等式构建的计算廉价的互信息下界提出了贪婪方法，这对于非线性 / 非高斯环境中的互信息评估而言具有计算复杂性的问题具有优于随机选择策略、高斯近似和嵌套 Monte Carlo（NMC）估计的性能，包括在具有非加性噪声的非线性模型的最优设计。

    Feb, 2024

  • 通过在 Wasserstein 空间中的多面体优化实现均场变分推断的算法

    有限维多面体子集、Wasserstein 空间、均场变分推断、最小化算法和 KL 散度。

    Dec, 2023

  • 弱条件下的驯服 Langevin 采样

    通过采样不满足对数凹条件且仅具有弱耗散性的分布来解决深度学习中常见的不满足标准 Lipschitz 光滑性要求的问题，该采样问题要求考虑目标分布满足对数索伯勒夫或某种柯西不等式以及局部 Lipschitz 光滑性假设，通过引入一种与目标分布的增长和衰减特性相关的驯服方案，提供了关于 Kullback-Leibler（KL）散度、总变分和 Wasserstein 距离与目标分布的显式非渐进保证的采样器。

    May, 2024

  • 估计不变性条件下的概率差异的样本复杂性界限

    通过研究李群对流形的平滑作用所带来的固有不变性，我们发现在估计 Wasserstein 距离、Sobolev 积分概率度量（Sobolev IPM）、最大均值差异（MMD）以及密度估计问题的复杂性（在 L^2 和 L^∞距离上）时，对于许多机器学习模型中出现的群不变概率分布可以大大提高样本复杂度，并改善收敛速度指数。这些结果对于正维度群是全新的，并扩展了有限群作用的最近界。

    Nov, 2023

  • 近端 Langevin 算法：等周条件下的快速收敛

    该论文研究 Proximal Langevin Algorithm 在满足 log-Sobolev inequality 的条件下从概率分布中采样的收敛性，证明了该算法在 Kullback-Leibler divergence 下具有更优异的收敛速度，在 Renyi divergence 下也具有收敛性。

    Nov, 2019