Feb, 2024

响应理论通过生成音符建模

PDF
TL;DR利用基于评分的生成建模与波动耗散定理（FDT）相结合的方法，我们介绍了一种分析动力系统对外部扰动响应的方法。通过该方法，可以准确估计系统响应，特别是对于非高斯统计的动力系统，特别是在远离平衡的情况下经常遇到的系统。我们通过使用时间序列数据从一个具有可用解析评分函数的随机偏微分方程，对我们的方法进行了数值验证。此外，我们展示了我们方法相对于传统方法的改进精度，并表明其作为理解复杂动力系统的多功能工具的潜力，其应用领域涵盖气候科学，金融和神经科学。
dynamical systemsexternal perturbationsscore-based generative modelingfluctuation-dissipation theoremnon-gaussian statistics
发现论文，激发创造
  • 基于分数的随机微分方程生成建模

    本文提出了一种基于随机微分方程的得分模型生成方法，通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布，并通过缓慢地消除噪声将先验分布转换回数据分布，同时利用基于神经网络的得分生成建模技术可以精确估计这些得分，并使用数值微分方程求解器生成样本。

    Nov, 2020

  • 通过强制底层分数随机漫步方程来提高基于分数的扩散模型

    本研究探讨了基于分数的生成模型，其通过加噪声扰动来学习一组对应于数据密度的噪声条件分数函数，并导出了一个叫做分数 Fokker-Planck 方程的相应方程，对于噪声扰动后的数据密度的条件分数进行特征化，同时还证明了满足 Fokker-Planck 方程是有益的，因为它可以提高可能性和保守性程度，因此，提出了一个正则化的 DSM 目标来强制满足分数 Fokker-Planck 方程，并在各种数据集上证明了其有效性。

    Oct, 2022

  • 基于扩散生成模型与评分匹配的变分视角

    本文通过导出一个变分框架来推导连续时间生成扩散理论，并表明该理论中最小化匹配得分损失等价于最大化该理论内所提出的可逆 SDE 插件的似然度的下限。

    Jun, 2021

  • 逆向随机微分方程的基于得分的生成建模：反演和生成

    该论文提出了基于 BSDE 的扩散模型，采用适应现有评分函数的方法，确定在达到所需终端分布所需的初始条件。研究表明，采用 Lipschitz 网络进行评分匹配具有优势，该方法具有应用于不同领域（如扩散反演、条件扩散和不确定性量化）的潜力。该工作对得分为基础的生成学习领域做出了贡献，并为解决实际问题提供了一个有前途的方向。

    Apr, 2023

  • 基于评分的随机微分方程系统的图生成建模

    提出了一种基于得分的图生成模型，采用连续时间框架下的新图扩散过程，通过随机微分方程系统对节点和边缘进行联合分布建模，并提出了适用于该过程的新颖得分匹配目标，通过求解反向扩散过程的方程系统高效采样。通过对多个数据集的验证，该方法在生成具有挑战性的现实世界图形时获得了优异的性能，并能够生成符合 训练分布的分子，表明其对于节点 - 边缘关系的建模具有有效性。

    Feb, 2022

  • 基于得分的生成模型的几何学

    该研究从几何角度探讨了基于得分模型的扩散生成模型，证明了加噪声和从噪声生成的正向和反向过程在概率测度空间中是 Wasserstein 梯度流。同时给出了附加传统得分模型的投影步骤的直观几何解决方案，提出了减少采样时间的方法。

    Feb, 2023

  • 基于得分的生成模型的可证明鲁棒性研究：一个不确定性量化的视角

    通过不确定性量化的视角，我们证明基于得分的生成模型对实际实现中的多重误差具有可靠性。利用 Wasserstein 不确定性传播定理，我们展示了有限样本近似、提前停止、得分匹配目标选择、得分函数参数化表达能力以及参考分布选择所导致的误差如何影响生成模型的质量。Wasserstein 不确定性传播定理适用于超过 $d_1$ 的积分概率度量，如总变差距离和最大平均差距。我们的方法假设最少，与流形假设无关，并避免了目标分布的绝对连续性假设。此外，我们的结果阐明了 SGM 中多个误差来源之间的权衡。

    May, 2024

  • 评估扩散型生成模型的设计空间

    对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

    Jun, 2024

  • 基于神经网络的扩散模型分值估计：优化与泛化

    通过分析神经网络的数学框架和得分匹配与回归分析之间的创新连接，本文提出了第一次得分函数学习的一般化误差（样本复杂性）边界，从而克服了观测值中存在噪声的问题。

    Jan, 2024

  • 费曼路径积分理解扩散模型

    利用费曼路径积分的新方法来描述分数评分的扩散模型，推导了反向随机微分方程和损失函数，通过应用量子物理中的 Wentzel-Kramers-Brillouin (WKB) 展开技术来评估随机和确定性采样方案之间的性能差异。

    Mar, 2024