- 扩散模型并行采样的加速
通过并行化自回归过程,我们提出了一种用于加速扩散模型采样的新方法,称之为 ParaTAA。在实验证明 ParaTAA 可以将 DDIM 和 DDPM 等常见顺序采样算法的推理步骤减少 4~14 倍,并且可以在仅 7 个推理步骤中,以与顺序采 - 从均场稳态分布中取样
研究了从一个平均场 SDE 的稳态分布进行采样的复杂性,或者等效地,从包括相互作用项的概率测度空间中最小化一个函数的复杂性。我们的主要见解是解耦这个问题的两个关键方面:(1)通过有限粒子系统均匀地传播混沌来近似平均场 SDE,以及(2)通过 - 基于分数的扩散模型通过随机微分方程
该篇论文是一篇关于基于分数的扩散模型的阐述性文章,重点介绍了通过随机微分方程 (SDE) 进行公式化。在温和的引言后,讨论了扩散建模的两个支柱 —— 抽样和得分匹配,其中包括 SDE/ODE 抽样,得分匹配效率,一致模型和强化学习。通过简短 - 通过神经算子对量子场论进行多晶格采样
我们考虑了从 Boltzmann 分布中采样离散场配置的问题,并通过运算符学习将其建模为一个时间相关的算子,该算子可以将自由理论和目标理论的泛函分布相互映射。我们的实验证明,基于此种算子的流架构在尺寸超过训练集的晶格中的表现良好,并且通过在 - 最大熵 GFlowNets 与软 Q 学习
构建适当的奖励函数,建立了生成性流网络(GFN)与最大熵强化学习(RL)之间的确切关系,并介绍了具有最大熵的 GFN。
- InvertibleNetworks.jl:可扩展的标准化流的 Julia 软件包
InvertibleNetworks.jl 是一个 Julia 软件包,专为实现在高维分布中进行密度估计和抽样的可扩展的可逆流方法而设计。该软件包通过利用可逆流的固有可逆性,在反向传播期间显著降低了内存需求,相较于依赖于自动微分框架的现有的 - 基于 ODE 的扩散模型快速采样约 5 步
通过几何观察每条采样轨迹几乎位于嵌入环境空间中的二维子空间中,我们提出了一种名为 AMED-Solver 的近似均值方向求解器,通过直接学习均值方向来消除截断误差进行快速扩散采样,并且可以作为插件进一步改进现有的基于 ODE 的采样器。
- 带有正则化轴突的玻尔兹曼机的通用表征
通过对玻尔兹曼机的连接进行正则化,我们证明了正则化玻尔兹曼机能够表示任意分布,并且控制能量局部极小值的数量,从而实现了简化的采样和训练,同时能够存储指数级的任意相关可见模式,并与稠密关联记忆网络相关联。
- 基于 GFlowNets 实现分子构型生成的平衡状态追求
使用 GFlowNet 从玻尔兹曼分布中对小分子进行构象采样的方法,可以与不同准确性的能量估计方法结合使用,并为高度柔性的药物样品发现一组多样性的低能量构象。该方法通过比例抽样来复现分子的势能表面。
- 闭合式扩散模型
通过对闭式评分函数进行平滑处理,我们提出了一种无须训练即可生成新样本的 SGM 模型,并提出了一种高效的基于最近邻的评分函数估计器,使得我们的方法在使用消费级 CPU 运行时具有与神经 SGMs 相竞争的采样速度。
- 基于采样的图神经网络的局部图极限视角
我们提出了一种用于训练大型输入图的图神经网络(GNNs)的理论框架,通过在小型固定大小的采样子图上进行训练。在渐进理论的基础上,我们证明了在渐进意义下,通过在大型输入图的小样本上训练基于采样的 GNNs 所学习到的参数在 ε- 邻域内与在整 - 概率测度空间中的梯度流采样
本文研究了基于梯度流的采样方法的设计要素,主要包括能量函数、度量、和用于算法推导的梯度流的数值近似。首先,我们展示了 Kullback-Leibler 散度作为能量函数的独特性质,即由它引导的梯度流与目标分布的标准化常数无关。其次,我们从不 - 扩散生成流采样器:通过部分轨迹优化改善学习信号
我们提出了一种基于扩散生成流采样器 (DGFS) 的抽样框架,该方法可以将学习过程易于处理地分解为短的部分轨迹段,通过参数化额外的 “流函数”,并且在各种具有挑战性的实验中展示了相比于相关先前方法更准确的规范常量估计。
- 单幅图像的适应性场景层次多平面图像表示与新视角合成
基于改进的多平面图像(MPI),本文介绍了一种适应场景的分层多平面图像表示,用于从单幅图像合成新视角,观察到对于无界户外场景,深度分布变化显著,因此采用自适应分组策略来排列平面,进一步引入了分层细化分支,以呈现精细的几何和多尺度细节,该方法 - 基于自然语言处理和采样的高效社会选择
使用自然语言处理和抽样相结合的系统,先利用 NLP 模型估计社区成员直接投票时提案通过的概率,再基于此估计选择一定规模的人口样本,通过取样多数决定提案。通过应用到多个去中心化自治组织的数据进行评估,解决一些代理社区在包括所有成员在决策过程中 - 机器学习在受晶格量子色动力学启发下的取样中的进展
从已知的概率分布中采样是计算科学中普遍存在的任务,为从语言学到生物学和物理学的各个领域的计算提供支持。然而,科学领域中的生成任务具有独特的结构和特征,如复杂对称性和精确性保证的要求,对机器学习提出了挑战和机会。本文介绍了以格点量子场论为动机 - 揭示扩散模型中的暴露偏差
扩散模型具有令人印象深刻的生成能力,但其所谓的 “曝光偏差” 问题,即训练和抽样之间的输入不匹配,缺乏深入探索。本文通过首先对抽样分布进行分析建模,然后将每个抽样步骤的预测误差归因为曝光偏差问题的根本原因,对扩散模型中的曝光偏差问题进行了系 - 通过正则化的 Wasserstein 近似实现无噪声采样算法
基于潜在函数模型抽样的显式基于评分的 MCMC 方法,以确定性的方式演化粒子,使用核卷积逼近的方法得到评分项,表现出快速收敛性和改进的维度依赖性相对于未调整的 Langevin 算法(ULA)和 Metropolis 调整的 Langevi - 流动中的采样:扩散与自回归神经网络的自旋玻璃视角
利用流水、扩散或自回归神经网络等生成模型进行的抽样分析工作,发现在某些参数范围内,这些方法可能无法高效抽样,而标准的 Monte Carlo 或 Langevin 方法则可行。然而,在其他参数范围内,这些生成模型的方法效果更好,而标准方法却 - 用度量的 Dikin Walk 高效采样 PSD 空间锥
半定规划和优化中的采样过程,使用 Dikin 行走和内点方法结合,通过适当的指标选择,可以在多项式对数的复杂度下减少混合时间和步骤复杂度。