May, 2024

作为概率神经算子的扩散模型用于恢复动力系统的未观测状态

HTML
PDF
TL;DR本研究探讨了以扩散为基础的生成模型作为偏微分方程(PDE)神经算子的功效。我们展示了扩散生成模型在神经算子方面具有许多有利的特性，并能够在多个真实动力系统中优于其他神经算子。此外，我们演示了概率扩散模型如何优雅地处理部分可识别的系统，通过生成对应于不同可能解的样本。
发现论文，激发创造
  • 神经扩散模型

    传播模型是生成任务中表现出色的模型，然而大部分传播模型仅允许对数据分布进行线性变换，相比之下，更广泛的转换可能有助于更高效地训练生成分布并消除真实负对数似然和变分近似之间的差距。在本文中，我们介绍了神经传播模型(NDMs)，这是传统传播模型的泛化，可以定义和学习数据的时间相关的非线性转换。我们展示了如何在无需模拟的情况下使用变分上界来优化NDMs。此外，我们导出了NDMs的时间连续形式，可以使用现成的数值ODE和SDE求解器进行快速可靠的推断。最后，我们通过在标准图像生成基准测试上的实验，包括CIFAR-10、ImageNet的降采样版本和CelebA-HQ，展示了可学习转换的NDMs的实用性。NDMs在似然度和生成高质量样本方面优于传统传播模型。

    Oct, 2023

  • 面向应用数学家的生成人工智能扩散模型简介

    生成人工智能是指生成合成但逼真的输出的算法。扩散模型在图像生成人工智能中目前达到最高水平，并在包括文本到图像生成器和大型语言模型在内的更通用工具中起着关键作用。

    Dec, 2023

  • 神经算子的合成数据生成

    我们提出了一种新方法来生成合成的函数训练数据，该方法不需要数值地解决偏微分方程问题，从而能够快速高效地生成大量这样的数据点。

    Jan, 2024

  • 学习半线性神经算子: 一种统一递归框架用于预测和数据同化

    使用基于学习的状态空间方法计算无限维半线性PDE的解算符，结合预测和修正操作，该方法能够在长时间范围内进行快速准确的预测并根据稀疏采样的噪声测量修正解算结果。

    Feb, 2024

  • 扩散模型概述：应用、引导生成、统计速率和优化

    扩散模型是强大且通用的生成式人工智能技术，在计算机视觉、音频、强化学习和计算生物学等领域取得了巨大的成功。本文回顾了扩散模型的新兴应用，理解了它们在各种控制下的样本生成。同时，我们概述了现有的扩散模型理论，涵盖了它们的统计性质和采样能力。进一步地，我们评述了通过条件扩散模型进行高维结构化优化的新途径，将解决方案的搜索重新定义为条件采样问题，并通过扩散模型进行求解。最后，我们讨论了扩散模型的未来发展方向。本文旨在为刺激前瞻性的扩散模型理论和方法提供全面的理论介绍。

    Apr, 2024

  • 神经流动扩散模型：可学习的前向过程用于改进扩散建模

    传统扩散模型通常依赖于固定的前向过程，本文引入神经流扩散模型（NFDM），通过支持更广泛的前向过程以及提出一种新颖的参数化技术来增强扩散模型，实现了无需模拟的端到端优化目标，从而有效地最小化负对数似然的变分上界。实验证据显示NFDM具有出色的性能，表现为最先进的似然估计。此外，我们还研究了NFDM在学习具有特定特征的生成动态，如确定性直线轨迹方面的潜力，这一探索彰显了NFDM的多样性和广泛应用潜力。

    Apr, 2024

  • 基于物理信息的深度学习和压缩选点法，高维扩散反应方程的实际存在理论和数值计算

    利用稀疏技术和随机采样的最新进展，本研究基于深度学习开发和分析了一个高维偏微分方程求解器，理论和数值结果表明其在稳定性和准确性方面可以与一个新型的压缩谱逼近方法竞争，并证明了存在一类可训练的深度神经网络，具有适当的网络结构和样本复杂度的充分条件，并以对数或最坏情况下的线性扩展在维度上稳定且准确地逼近扩散-反应型偏微分方程的高概率。

    Jun, 2024

  • 扩散PDE：部分观测下的生成性偏微分方程求解

    通过使用生成扩散模型，我们引入了一个解决偏微分方程（PDEs）的通用框架，特别关注在没有足够知识的情况下应用经典解算器的场景，并提出了DiffusionPDE方法，可同时填补缺失信息并解决PDE问题，通过建模解空间和系数空间的联合分布，学得的生成先验能够准确解决多种偏微分方程在部分观测下的情况，明显优于现有前向和反向PDE方法。

    Jun, 2024

  • 一种无训练的条件扩散模型用于学习随机动力系统

    本研究提出了一种无训练的条件扩散模型，用于通过数据学习未知的随机微分方程(SDE)。该方法通过利用基于分数的扩散模型来逼近其随机流映射，成功解决了建模SDE的计算效率和准确性问题。数值实验表明，该方法在预测未知随机系统的短期和长期行为方面显著优于传统方法，如GAN。

    Oct, 2024

  • 关于用于偏微分方程模拟的条件扩散模型

    本研究解决了现有预测模型在数据同化中的不足，提出了一种新颖的自回归采样方法和一个新的条件评分模型训练策略，以提升预测性能和稳定性。通过实验证明，这些改进对于同时处理预测和数据同化这一在现实场景中常见的任务至关重要。

    Oct, 2024