利用得分匹配目标训练基于能量的正则化流
本文提出了一种新的训练目标 equivariant flow matching,该方法是基于最近提出的 optimal transport flow matching,利用目标能量的对称性来对称等变 CNFs 进行高效的仿真 - free 训练,在许多粒子系统和小分子 alanine dipeptide 中展示了我们方法的有效性,我们首次获得了一个具有显着采样效率的 Boltzmann 生成器,而不依赖于定制的内部坐标特征选取。
Jun, 2023
该论文提出了一种新的训练方法,该方法联合估计基于能量和基于流的模型,并且这两个模型通过共享的敌对价值函数进行迭代更新。该方法通过噪声对比估计来更新基于能量的模型,以流模型作为强噪声分布。同时,该方法还近似地最小化了流模型与数据分布之间的 Jensen-Shannon 距离,相比生成式对抗网络(GAN)能够更有效地在无监督特征学习和半监督学习中表现。
Dec, 2019
研究合作学习的两个生成流模型,第一个模型是归一化流将简单密度转换为目标密度,第二个模型是 Langevin 流向能量模型运行梯度 MCMC。研究表明 CoopFlow 算法是一个有效的生成器,并展示了它生成逼真图像的能力。
May, 2022
本研究提出了自正则化流的概念,通过使用每一层中的学习近似反演,将昂贵的项替换为其梯度的自我正则化流,实现了流架构的培训,同时提供了高效的采样方法。实验表明,这些模型具有显著的稳定性,并优于在计算中限制函数的模型。
Nov, 2020
我们引入了一种基于能量的正则化流(EBFlow)建模的新的最大熵强化学习框架,该框架集成了策略评估步骤和策略改进步骤,实现了单一的目标训练过程,并且能够计算用于策略评估目标的软值函数,同时支持多模态动作分布的建模和高效的动作采样。我们在 MuJoCo 基准套件和 Omniverse Isaac Gym 模拟的多个高维机器人任务上进行了实验评估,结果表明我们的方法相较于广泛采用的代表性基准方法具有更优越的性能。
May, 2024
本文提出一种利用多尺度去噪得分匹配的能量模型 (Energy-Based Model, EBM),并利用多噪声级别的数据进行训练。该模型在高维数据的样本合成和密度估计方面取得了与 GAN 相当的性能,并在图像修复任务中表现良好。
Oct, 2019
我们通过使用梯度的有效估计器来克服了正规化流设计受到解析可逆性需求的约束,并实现了任意保持维度的神经网络作为最大似然训练的生成模型,在分子生成基准测试中取得了出色的结果,同时采用现成的 ResNet 架构在一个反问题基准测试中具有竞争力。
Oct, 2023
机器学习技术特别是所谓的标准化流在蒙特卡洛模拟中变得越来越受欢迎,因为它们可以有效地逼近目标概率分布。在格点场论中,目标分布由作用的指数给出。我们提出了一种基于 REINFORCE 算法的标准化流估计器,避免了相关的计算问题,应用于临界维度的二维 Schwinger 模型,并显示它相比重新参数化技巧估计器的墙钟时间更快,内存需求减少了 30%,数值上更稳定,并允许进行单精度计算和使用半浮点张量核心。我们深入分析了这些改进的原因,这些优点也将出现在目标概率分布计算复杂的其他领域中。
Aug, 2023