Aug, 2023

流动中的采样：扩散与自回归神经网络的自旋玻璃视角

PDF
TL;DR利用流水、扩散或自回归神经网络等生成模型进行的抽样分析工作，发现在某些参数范围内，这些方法可能无法高效抽样，而标准的 Monte Carlo 或 Langevin 方法则可行。然而，在其他参数范围内，这些生成模型的方法效果更好，而标准方法却低效。
generative modelssamplingprobability distributionmonte carlo markov chainlangevin dynamics
发现论文，激发创造
  • 通过 Langevin 动力学从自回归模型中进行并行灵活采样

    这篇论文介绍了一种新的从自回归模型中采样的方法，提出了使用 Langevin 动力学构建马尔可夫链的方法，将采样过程并行化，并推广到有条件采样。通过将自回归模型作为贝叶斯先验，并使用条件似然或限制，我们可以控制生成模型的输出，应用这些技术于视觉和音频领域的自回归模型，获得了在声源分离、超分辨与修复等任务上有竞争力的结果。

    May, 2021

  • 递归神经网络中的表达性概率抽样

    使用功能分析和随机微分方程的工具，探索基于采样的脑功能贝叶斯模型中神经动力学机制在复杂分布中的采样能力的最小体系结构要求，并提出了能够从任意概率分布中进行采样的储液器 - 采样网络（RSN）以及基于去噪评分匹配的有效训练过程，从而实现 Langevin 采样，并在实验中展示了该模型从多个复杂数据分布中进行采样的能力，探讨了其在开发基于采样的大脑模型的潜力。

    Aug, 2023

  • 使用扩散图进行稳定的生成建模

    我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

    Jan, 2024

  • 通过扩散生成模型学习近似粒子平滑轨迹

    从稀疏观测数据中学习动力系统是许多领域（包括生物学、金融学和物理学）的一个关键问题。这篇论文介绍了一种将条件粒子滤波与祖先采样和扩散模型相结合的方法，能够生成与观测数据相符合的逼真轨迹。该方法基于迭代条件粒子滤波与祖先采样生成匹配观测边缘概率的合理轨迹，并学习相应的扩散模型。该方法既为复杂约束下高质量、平滑的轨迹提供了一种生成方法，又有效近似了粒子平滑分布在经典跟踪问题中。我们在时间序列生成和插值任务上展示了该方法，包括车辆追踪和单细胞 RNA 测序数据。

    Jun, 2024

  • 自回归神经网络的无偏蒙特卡罗聚类更新

    该研究提出了一种使用物理对称性和变尺度聚类更新以消除偏差且方差较低的方法来进行高维概率分布的无偏抽样，测试了其在经典自旋系统的一阶和二阶相变中的可行性。

    May, 2021

  • 生成流网络：马尔可夫链角度

    本文对 Generative Flow Networks 进行了形式化，并将其视为循环马尔科夫链状态空间下采样的一种方法，这一方法可以在不使用流动的情况下模拟复杂的多模态概率分布函数。

    Jul, 2023

  • 重正化扩散模型

    使用扩散模型学习统计场论和量子场论的逆重整化群流。

    Aug, 2023

  • 用深度自回归模型高效变分模拟多体量子系统

    使用一种新的神经网络架构代替马尔科夫链蒙特卡洛（MCMC）采样方法来支持高效和精确的量子状态预测，这种方法在二维相互作用自旋模型中验证了其精确性和可扩展性。

    Feb, 2019

  • 从有限样本复杂性中学习基于流的生成模型的分析

    使用两层自编码器参数化的流式生成模型，通过对目标分布从有限数量 n 的样本进行训练，提供了问题的尖锐端到端分析，包括对学习速度场的紧密闭合形式表征以及对相应生成流的尖锐描述，最终证明该速度场的收敛速度是贝叶斯最优的。

    Oct, 2023

  • 贝叶斯条件扩散模型用于多功能时空湍流生成

    我们介绍了一种基于概率扩散模型的新型生成框架，用于多样化生成时空湍流。我们的方法在贝叶斯框架内统一了无条件和条件抽样策略，并能适应各种条件情景，包括指定条件与生成的非稳定流动结果之间具有直接可微分链接的情况以及缺乏明确相关性的情况。我们的方法的一个显著特点是基于自回归梯度条件抽样的长时跨度流动序列生成方法，在没有繁琐的重新训练过程的情况下完成。通过一系列数值实验展示了我们框架的多样化湍流生成能力，包括：1）从 URANS 输入合成 LES 模拟的瞬态流动序列；2）从给定的初始条件、规定的湍流统计数据或完全从头开始生成非均匀的、各向异性的壁面湍流；3）从不同输入分辨率的低分辨率数据中实现高速湍流边界层流动的超分辨生成。综合而言，我们的数值实验突显了所提方法的优点和变革潜力，在湍流生成领域取得了重大进展。

    Nov, 2023