Feb, 2024

关于测度自由、保守性和扩散模型中的内在维度估计

PDF
TL;DR扩散模型是一种生成模型，通过前向连续扩散过程和后向连续去噪过程，使用一个时变向量场作为生成模型。尽管大多数研究将该向量场实现为神经网络函数，并不加限制为某种能量函数的梯度，限制该向量场具有保守性在推断数据流形的局部信息时是可取的。同时，通过分解向量场为保守组件和正交组件，并展示了具有保守组件等于真实得分时实现精确密度估计和精确抽样的情况，从而表明保守性既不是必要条件也不是充分条件。
diffusion modelsgenerative modelsvector fieldconservativeexact density estimation
发现论文，激发创造
  • 评估扩散型生成模型的设计空间

    对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

    Jun, 2024

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 物理相关扩散模型

    通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

    Mar, 2024

  • 通过凸优化对基于神经网络的生成扩散模型进行分析

    本研究提出了一个理论框架，通过将评分匹配和去噪评分匹配视为凸优化问题，对基于两层神经网络的扩散模型进行了分析。尽管现有的扩散理论主要是渐近的，但我们对有限数据的神经网络扩散模型进行了确切的预测评分函数表征，并建立了收敛结果，从而有助于理解非渐近设置中神经网络扩散模型的学习过程。

    Feb, 2024

  • 函数空间中的基于分数的扩散模型

    本研究提出了一种名为去噪扩散算子的数学严谨框架，用于在函数空间中训练扩散模型，将它推广到无限维函数空间的应用，其中前向过程是逐渐扰动输入函数，生成过程是通过积分的函数值 Langevin 动力学实现。

    Feb, 2023

  • 扩散模型辅助监督学习用于密度估计的生成模型

    基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

    Oct, 2023

  • 一种灵活的扩散模型

    本研究提出了一个通用的模型参数化框架，尤其是针对前向 SDE 的空间部分，通过理论保障和实验证明了其优越性。

    Jun, 2022

  • 基于约束采样优化的扩散模型

    我们提出了使用扩散模型在数据流形上进行优化的方法，以解决具有未知约束的实际优化问题。通过在 Boltzmann 分布和扩散模型学习的数据分布之间进行采样，我们将原始优化问题转化为采样问题，以限制优化过程在数据流形上进行。通过在初始阶段聚焦在可行解上获得分布，我们的方法在综合实验中展现了与现有的最先进基准方法相当或更好的性能。

    Feb, 2024

  • 扩散模型的梯度引导：优化视角

    通过梯度引导实现扩散模型的细调，以用户定义的优化目标适应特定任务需求，包括理论研究、梯度引导的采样过程和梯度引导的迭代扩散，以及潜在结构的保留和全局最优解的收敛速率。

    Apr, 2024

  • 受限域的扩散模型

    本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形，包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量，在合成和真实任务中进行了实证表明，包括蛋白质骨架和机器人臂运动的约束构象模拟。

    Apr, 2023