大规模海冰模型的扩散模型研究

ICMLJun, 2024

Towards diffusion models for large-scale sea-ice modelling

Tobias Sebastian Finn, Charlotte Durand, Alban Farchi, Marc Bocquet, Julien Brajard

TL;DR我们首次开展了用于多元和北极范围海冰状态的无条件生成的扩散模型研究。通过在潜空间中进行扩散以降低计算成本，同时将物理知识整合到生成过程中，我们定制了适用于海冰物理学的潜空间扩散模型，采用数据空间中的被修剪的高斯分布来生成遵循模型变量物理边界的数据。我们的潜空间扩散模型得分与在数据空间训练的扩散模型相似，但它们通过潜空间映射平滑了生成的场。虽然物理边界的强制执行无法减少平滑，但它改善了边缘冰区的表示。因此，对于大规模地球系统模拟，如果能够解决平滑的显著障碍，潜空间扩散模型与数据空间扩散相比具有许多优势。

Abstract

We make the first steps towards diffusion models for unconditional generation of multivariate and arctic-wide sea-ice states. While targeting to reduce the computational costs by diffusion in latent space, latent

diffusion models multivariate sea-ice states arctic-wide latent diffusion models physical knowledge

发现论文，激发创造

基于相类模型的参数化和数据同化的潜隐式扩散模型

地质参数化中使用低维潜变量进行降维，结合扩散模型和隐含扩散模型，通过去噪实现从含有噪声的输入场生成新的地质实现，该模型经过稳定性测试，并用于基于集合的数据同化，实现了显著的不确定性降低和一致的地质模型。

Jun, 2024

生成气候模拟集合的潜在扩散模型

利用新型生成式深度学习方法，在气候模拟数据集上训练出来的模型能够更快、更高效地生成大型集合数据，以提高气候模拟中的不确定性估计的效率。

Jul, 2024

语言生成的潜在扩散

该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

Dec, 2022

DiffusionDialog：擴散模型用於具有潛在空間的多樣對話生成

DiffusionDialog 是一种新的方法，通过引入扩散模型来增强对话生成的多样性。在该方法中，我们将连续潜变量引入扩散模型，通过与编码器结合，将响应的潜在表示编码为连续空间的先验，并通过扩散模型逐步去噪来推断潜变量。实验结果表明，我们的模型在保持连贯性的同时极大地增强了对话回应的多样性。此外，进一步的分析发现我们的扩散模型实现了高效的推断，这是在自然语言处理中应用扩散模型的主要挑战。

Apr, 2024

PreDiff: 隐式扩散模型的降水预测

我们提出了一个两阶段的概率时空预测流程：1）我们开发了 PreDiff，一个能够进行概率预测的条件潜在扩散模型。2）我们通过在去噪步骤中估计所施加约束的偏差并相应地调整过渡分布，结合了显式的知识控制机制，以使预测与领域特定的物理约束相一致。实验在两个数据集上进行，分别是具有混沌行为的合成数据集 N-body MNIST 和代表降雨预测的真实世界数据集 SEVIR。实验结果显示 PreDiff 在处理不确定性、整合领域特定先验知识和生成具有高操作效能的预测方面的有效性。

Jul, 2023

使用扩散图进行稳定的生成建模

我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

Jan, 2024

具有潜态扩散的生成模型采样与推断的理论保证

本文介绍和研究了一类概率生成模型，其中潜在对象是有限时间间隔上的有限维扩散过程，观察变量是在扩散的终端点条件下绘制的。通过随机控制的视角，我们为这种生成模型的采样和变分推断提供了统一的观点，并量化了基于扩散的生成模型的表现力。我们最后提出并分析了一个无偏模拟的方案，并提供了结果估计值的方差上限。这个方案可以实现为深度生成模型并具有随机层数。

Mar, 2019

构建桥梁：理解和扩展扩散生成模型

本研究重新考虑扩散模型的总体框架，将其视为具有未观察到扩散轨迹的潜在变量模型，并应用于数据不受限制的领域。利用最大似然估计，我们表明模型构建和潜在路径的插补都可以构造扩散桥过程，实现端点的确定值和约束条件，并提供一套系统的研究和工具，进而提出了学习扩散生成模型的第一个理论误差分析和学习不同离散和受限领域数据的简单而统一的方法。实验证明，我们的方法在生成图像、语义分段和 3D 点云方面表现出色。

Aug, 2022

概率扩散模型讲义

扩散模型通过训练大量数据点，利用逐渐添加随机噪声和逆扩散过程将数据样本从复杂分布转换为简单分布，并学习数据流形，优于其他方法（包括生成对抗网络）来建模自然图像等分布。

Dec, 2023

纹理生成的单网格扩散模型和场隐变量

我们介绍了一种在 3D 形状表面上直接操作的基于内在隐性扩散模型的框架，旨在合成高质量的纹理。通过对网格顶点上的离散矢量场编码纹理的隐式表示和学习在表面上的学习隐空间中去噪扩散过程的隐性扩散模型，我们的方法具有两个贡献。我们考虑了一种单一纹理网格范式，其中我们的模型被训练为在网格上生成给定纹理的变化。我们展示了合成的纹理与现有的单一纹理网格生成模型相比，具有较高的保真度。我们的模型还可以用于用户控制的编辑任务，例如修复缺失和标签引导的生成。我们提出的框架具有在等价变换下的等变性，这部分有助于我们方法的有效性，使我们的模型能够在局部相似区域之间无缝复现细节，并打开了生成纹理迁移的可能性。

Dec, 2023