有条件强对数凹生成模型

ICMLMay, 2023

Conditionally Strongly Log-Concave Generative Models

Florentin Guth, Etienne Lempereur, Joan Bruna, Stéphane Mallat

TL;DR介绍了条件强对数凹模型的概念，该模型将数据分布因子化为强对数凹条件概率分布的乘积，并使用适应于数据分布的正交投影器来实现因子化，从而实现了有效的参数估计和抽样算法，并在物理字段等多个领域展示了该模型的实用性。

Abstract

There is a growing gap between the impressive results of deep image generative models and classical algorithms that offer theoretical guarantees. The former suffer from mode collapse or memorization issues, limiting their application to scientific data. The latter require restrictive assumptions such as log-concavity to escape the curse of dimensionality. We

deep image generative models conditionally strongly log-concave models orthogonal projectors multiscale processes physical fields

发现论文，激发创造

强对数凹分布下的多样性灵活建模

文章介绍了强对数凹概率分布（SLC）作为强雷利（SR）分布的拓展，便于更直观地控制多样性。同时提出了应用 SLC 分布于学习和推理的两个基本工具：采样和模式查找，并给出了相应的理论保证。

Jun, 2019

基于扩散的生成模型及其误差界：全收敛估计下的对数凹情况

我们以具有未知均值的高斯分布的抽样为动机示例，通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数，同时通过与相应的抽样估计相结合，对于与数据分布之间的 Wasserstein-2 距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于 L2 准确评分估计假设的结果，以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。

Nov, 2023

对数凹性和强对数凹性综述

该论文回顾和阐述了离散和连续设置中的对数凹性和强对数凹性问题，探讨了 Efron 定理和引理，证明了 Otto 和 Menz 提出的不对称 Brascamp-Lieb 不等式的基本单调性结论，同时回顾了对数凹性与其他数学和统计学领域的关系，包括测度集中，对数 Sobolev 不等式，凸几何，MCMC 算法，Laplace 近似和机器学习。

Apr, 2014

受限高斯 Oracle 的结构化对数凸采样

该研究论文讨论了如何使用结构化的 logconcave 样本算法来采样复合密度和 logconcave 有限和，使用近端点方法启发的降维框架来改善问题条件的相关性，并提出了一种获取大量梯度查询乘数的简单算法。

Oct, 2020

常数条件下对数凹密度的常微分方程算法理论与采样

本文提出了一种近似线性的多元常微分方程算法，用于解决样本采集问题，特别是针对 Hamiltonian Monte Carlo 的多维 logconcave 密度函数，拥有多项式对数深度。

Dec, 2018

紧支持上的对数凹采样：一个通用的近端框架

提出了一个支持各种投影选项的通用近端框架，基于凸紧致支撑体上定义的强对数凹分布进行采样，并与多种采样方法无缝集成，主要研究集中在约束采样的 Langevin 型采样算法，提供了 W1 和 W2 误差的非渐进上界，详细比较了这些方法在约束采样中的性能。

May, 2024

超出对数凹性：总和对数凹优化的理论与算法

本文扩展了经典的凸优化理论，以最小化被称为总和对数凹函数的负对数的函数。我们展示了这些函数一般不是凸函数，但仍满足广义凸性不等式，揭示了某个被称为交叉梯度的向量的重要性，该向量一般与通常的梯度不同。因此，我们提出了反方向移动交叉梯度的交叉梯度下降算法，并进行了收敛性分析。作为我们总和对数凹框架的应用，我们引入了所谓的棋盘回归方法，依赖于总和对数凹函数。该分类器扩展了（多类）逻辑回归到非线性可分问题，因为它能够利用任意给定的超平面在特征空间上镶嵌，创建了一个类似棋盘的决策区域模式。

Sep, 2023

使用投影 Langevin 蒙特卡洛采样对数凹分布

通过投影步骤（与投影随机梯度下降类似），我们将 Langevin Monte Carlo（LMC）算法扩展到紧支持测度。我们的主要结果特别表明，当目标分布是均匀分布时，LMC 在 $\tilde {O}(n^7)$ 步内混合。我们还提供初步的实验证据表明，LMC 的表现至少与 hit-and-run 相当，而 Lov {\'a} sz 和 Vempala 证明了更好的混合时间为 $\tilde {O}(n^4)$。

Jul, 2015

随机中点法用于对数凹采样

本研究提出了一种基于欠阻尼 Langevin 扩散的 MCMC 算法来解决从对数凹分布中采样问题，并设计了一种新的模拟随机微分方程的框架，该框架不仅可以解决对数凹采样问题，还可以应用于任何涉及模拟（随机）微分方程的问题。

Sep, 2019

对 log-concave 采样的查询下界

证明了通过多尺度构造和具有与 Wishart 矩阵类似的查询下界技术，可以在任何常数维度下通过块 Krylov 算法最优地采样具有强对数凹和对数平滑分布的分布，同时连接到高斯分布的具有误差的查询下界。

Apr, 2023