基于扩散模型的偏微分方程数据生成

Jun, 2023

基于扩散模型的偏微分方程数据生成

Diffusion model based data generation for partial differential equations

Rucha Apte, Sheel Nidhan, Rishikesh Ranade, Jay Pathak

TL;DR为解决物理机器学习中的数据稀缺性问题，我们提出了一种新的物理模拟数据生成方法，利用扩散模型生成合成数据样本，并通过两种情况下的比较检验生成数据样本的准确性和符合物理法则的一致性，从而使它们能够有效地用于下游任务。

Abstract

In a preliminary attempt to address the problem of data scarcity in physics-based machine learning, we introduce a novel methodology for data generation in physics-based simulations. Our motivation is to overcome

data scarcity physics-based machine learning data generation diffusion model synthetic data

发现论文，激发创造

物理相关扩散模型

通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

Mar, 2024

基于生成扩散模型的合成拉格朗日湍流

基于最先进的扩散模型的机器学习方法，能够生成具有高雷诺数的三维湍流中的单粒子轨迹，从而避免直接数值模拟或实验获得可靠的拉格朗日数据；该模型能够定量地重现整个时间尺度范围内的所有相关统计基准，包括速度增量的尾分布、异常幂律和耗散尺度周围间歇性的增强；该模型在极端事件方面表现出良好的普适性，实现了前所未有的强度和稀有性，为产生用于预训练拉格朗日湍流各种下游应用的合成高质量数据奠定了基础。

Jul, 2023

生成型扩散模型的非平衡物理学

透明物理分析推导了扩散模型中的涨落定理、熵产生、Franz-Parisi 势函数，从非平衡物理的角度理解了最近发现的内在相变现象，该统一原理预计将引导机器学习从业者设计更好的算法，也将把机器学习与非平衡热力学联系起来。

May, 2024

扩散 PDE：部分观测下的生成性偏微分方程求解

通过使用生成扩散模型，我们引入了一个解决偏微分方程（PDEs）的通用框架，特别关注在没有足够知识的情况下应用经典解算器的场景，并提出了 DiffusionPDE 方法，可同时填补缺失信息并解决 PDE 问题，通过建模解空间和系数空间的联合分布，学得的生成先验能够准确解决多种偏微分方程在部分观测下的情况，明显优于现有前向和反向 PDE 方法。

Jun, 2024

作为概率神经算子的扩散模型用于恢复动力系统的未观测状态

本研究探讨了以扩散为基础的生成模型作为偏微分方程 (PDE) 神经算子的功效。我们展示了扩散生成模型在神经算子方面具有许多有利的特性，并能够在多个真实动力系统中优于其他神经算子。此外，我们演示了概率扩散模型如何优雅地处理部分可识别的系统，通过生成对应于不同可能解的样本。

May, 2024

使用扩散图进行稳定的生成建模

我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

Jan, 2024

用物理信息扩散模型生成合成网负荷数据

本研究提出一种新颖的物理知情扩散模型，用于生成合成的净负荷数据，解决数据稀缺和隐私问题。该模型将物理模型嵌入去噪网络中，提供了一种多功能方法，可以轻松推广到未预料的情景。利用来自 Pecan Street 的真实智能电表数据，我们验证了所提出的方法，并通过与生成对抗网络、变分自动编码器、标准化流以及经过良好校准的基线扩散模型等最先进的生成模型进行了全面的数值研究，使用一套全面的评估指标来评估生成的合成净负荷数据的准确性和多样性。数值研究结果表明，所提出的物理知情扩散模型在所有定量指标上优于最先进的模型，至少提供了 20% 的改进。

Jun, 2024

扩散模型的几何视角

本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

May, 2023

隐含物理模型：非线性偏微分方程的机器学习

本文提出了一种新的学习模型，称为隐藏物理模型，旨在从小数据中学习偏微分方程，并利用高斯过程进行概率推断，此方法被证明在各种科学领域中具有潜在的应用前景。

Aug, 2017

面向应用数学家的生成人工智能扩散模型简介

生成人工智能是指生成合成但逼真的输出的算法。扩散模型在图像生成人工智能中目前达到最高水平，并在包括文本到图像生成器和大型语言模型在内的更通用工具中起着关键作用。

Dec, 2023