MD-NOMAD: 混合密度非线性流形解码器用于模拟随机微分方程和不确定性传播

Apr, 2024

MD-NOMAD: 混合密度非线性流形解码器用于模拟随机微分方程和不确定性传播

MD-NOMAD: Mixture density nonlinear manifold decoder for emulating stochastic differential equations and uncertainty propagation

PDF

Akshay Thakur, Souvik Chakraborty

TL;DR我们提出了一种神经算子框架，称为混合密度非线性流形解码器（MD-NOMAD），用于随机模拟器。我们的方法利用了点对点算子学习神经结构非线性流形解码器（NOMAD）与基于混合密度的方法的融合，用于估计随机输出函数的条件概率分布。MD-NOMAD 利用概率混合模型估计复杂概率和点对点神经算子 NOMAD 的高维扩展性。我们对广泛的随机常微分方程和偏微分方程进行了实证评估，并展示了相应的结果，突出了该框架的性能。

Abstract

We propose a neural operator framework, termed mixture density nonlinear manifold decoder (MD-NOMAD), for stochastic simulators. Our approach leverages an amalgamation of the pointwise operator learning neural ar

neural operator framework mixture density nonlinear manifold decoder stochastic simulators conditional probability distributions stochastic ordinary and partial differential equations

发现论文，激发创造

NOMAD：用于算子学习的非线性流形解码器

NOMAD, a novel operator learning framework with a nonlinear decoder map, can accurately learn low dimensional, finite dimensional representations of nonlinear submanifolds in function spaces, outperforming linear models and achieving competitive performance with a significantly smaller model size and training cost.

Jun, 2022

基于混合密度网络的随机电子器件的机器学习紧凑建模

通过机器学习中的混合密度网络（MDNs），创新的方法能够模拟电子设备的随机行为，从而克服传统建模技术的局限性。

Nov, 2023

神经流形常微分方程

本文提出了一种称为神经流动流形的新型生成模型，可以更好地适应数据几何，增加了模型的通用性和表达能力并提高了密度估计和下游任务的效果。

Jun, 2020

神经扩散模型

传播模型是生成任务中表现出色的模型，然而大部分传播模型仅允许对数据分布进行线性变换，相比之下，更广泛的转换可能有助于更高效地训练生成分布并消除真实负对数似然和变分近似之间的差距。在本文中，我们介绍了神经传播模型 (NDMs)，这是传统传播模型的泛化，可以定义和学习数据的时间相关的非线性转换。我们展示了如何在无需模拟的情况下使用变分上界来优化 NDMs。此外，我们导出了 NDMs 的时间连续形式，可以使用现成的数值 ODE 和 SDE 求解器进行快速可靠的推断。最后，我们通过在标准图像生成基准测试上的实验，包括 CIFAR-10、ImageNet 的降采样版本和 CelebA-HQ，展示了可学习转换的 NDMs 的实用性。NDMs 在似然度和生成高质量样本方面优于传统传播模型。

Oct, 2023

通过动态模态分解学习非自治系统

本研究提出了一种基于动态模态分解（DMD）的面向未知非自治动态系统时间依赖输入的数据驱动学习方法，该方法利用本地参数化外部时间依赖输入的修正系统作为原始非自治系统的近似，包括一系列本地参数化系统，可以通过参数空间中的降维和插值框架（DRIPS）构建参数化代理模型。

Jun, 2023

流形上扩散模型的拟数值方法

本文提出了一种基于伪数值方法的去噪扩散概率模型 (Pseudo numerical methods for Diffusion Models, PNDMs) 来加速 DDPM 的推断过程，此方法不仅在保持采样质量的同时能够实现高速加速，可以在仅进行 50 个步骤的情况下生成高质量的合成图像，相对于其他加速方法具有更好的表现。

Feb, 2022

使用分解增强的 MDP 多智能体学习双曲偏微分方程数值方法

本文将学习数值方法转化为了分解的 Dec-MDP 问题，展示了不同的奖励公式导致强化学习或行为克隆。RL 算法实现了一个同质化策略，使得多个智能体之间可以相互合作完成任务，并推广到不同的 PDEs 数值求解问题。

May, 2022

ARMDN：用于电商需求预测的联合与循环混合密度网络

本研究提出了一种称为 AR-MDN 的神经网络结构，该结构能够同时模拟关联因素、时间序列趋势和需求方差，为在线零售组织提供精确的需求预测，同时也在消除需求方面存在的问题方面获得了显著的改进和提高。

Mar, 2018

混合密度网络在产品捆绑分类中的应用

本文提出了两种基于混合密度网络的分类模型，通过将高斯混合模型拟合到数据中，并使用拟合的分布通过评估学习到的累积分布函数对给定样本进行分类。这些模型在三个公开数据集上表现略优于或与五个基准分类模型相当，并通过真实世界的产品捆绑应用展示了其实际用途。具体而言，我们使用这些模型从单个产品的合成销售数据中学习愿意支付（WTP）分布，并利用所学到的 WTP 分布的高斯混合表示来获得由两个产品组成的捆绑产品的 WTP 分布。这些提出的基于混合密度网络的模型能够很好地近似两个产品和捆绑产品的真实 WTP 分布。

Feb, 2024

MADMM：一种用于流形上非光滑优化的通用算法

本文提出了 Manifold 交替方向乘数法 (MADMM)，这是一种用于处理非平滑优化问题的扩展 ADMM 方案，并展示了它在机器学习领域的应用，特别是在处理具有流形约束问题的降维，数据分析和流形学习方面具有较好的效果。

May, 2015