基于能量模型的分子图生成

ICLRJan, 2021

GraphEBM: Molecular Graph Generation with Energy-Based Models

Meng Liu, Keqiang Yan, Bora Oztekin, Shuiwang Ji

TL;DR本研究发现大多数现有的分子图生成方法在保证排列不变性方面存在困难，可能导致在生成模型中存在意外偏差。通过提出的 GraphEBM，我们可以使用基于能量的模型生成分子图，通过能函数的参数确定在排列不变性上，使 GraphEBM 较好地满足了这一特点。同时，我们还应用 Langevin 动力学训练能量函数，生成具有低能量的样本。最后，我们尝试了一种简单而有效的方法，用于生成具有所需性质的分子。此外，我们还探讨了如何使用 GraphEBM 组合地生成具有多个目标的分子，并通过各种实验验证了我们提出的算法的有效性。

Abstract

We note that most existing approaches for molecular graph generation fail to guarantee the intrinsic property of permutation invariance, resulting in unexpected bias in generative models. In this work, we propose

graph generation molecular graphs energy-based models permutation invariance langevin dynamics

发现论文，激发创造

通过潜空间能量建模与逐步分布转移的分子设计

本文提出了一种生成模型，基于能量模型（EBM）和分子生成模型、性质回归模型生成具有期望化学和生物性质的体小分子，并引入了逐步分布转移采样算法（SGDS），从而在训练的分子数据和性质的基础上，逐步将模型分布转移到具有期望性质的分子区域，取得了很好的实验效果。

Jun, 2023

基于能量的模型指南：与其他生成模型、采样和统计物理之间的全面评述

能量模型（EBMs）已成为生成模型领域中一个强大的框架，通过与统计力学的原理密切契合，提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解，揭示它们与其他生成模型（如 GAN、VAEs 和正规化流）的联系。我们探讨了对 EBMs 至关重要的采样技术，包括 Markov Chain Monte Carlo（MCMC）方法，并将 EBM 概念与统计力学进行了对比，强调了能量函数和配分函数的重要性。此外，我们深入研究了 EBMs 的最新训练方法，涵盖了最近的进展及其对提高模型性能和效率的影响。本综述旨在阐明这些模型之间通常复杂的相互关系，这可能是因为从事该领域研究的各个学术界群体差异较大所导致的挑战。

Jun, 2024

广义能量基模型

本文介绍了广义能量模型（GEBM）的产生式建模方法，指出了其在图像生成任务和密度建模任务中的应用和比 GANS 更好的性能表现。

Mar, 2020

基于能量的图神经网络的认知不确定性

在具有相互依赖数据的领域中，如图形数据，量化图神经网络 (GNN) 的认知不确定性是具有挑战性的，因为不确定性可以在不同的结构尺度上产生。我们提出了 GEBM，一种能量模型（EBM），通过聚合来自图扩散引起的不同结构级别上的能量，提供高质量的不确定性估计。与基于逻辑的 EBM 不同，我们通过正则化能量函数来在数据空间中引入可积密度。我们引入了我们的 EBM 的证据解释，极大地提高了 GNN 的预测鲁棒性。我们的框架是一个简单有效的事后方法，适用于任何对各种分布转移敏感的预训练 GNN。在 7 种异常类型中，我们在 6 种上实现了最佳的内部分布和外部分布数据分离，并在所有数据集上具有最佳的平均排名。

Jun, 2024

基于能源的模型在语音和语言处理中的应用

能量模型（EBM）是一种重要的概率模型，也被称为随机场和无向图模型。EBM 是非标准化的，与其他流行的自标准化概率模型（如隐马尔可夫模型（HMMs）、自回归模型、生成对抗网络（GANs）和变分自动编码器（VAEs））截然不同。近年来，由于在理论和算法方面取得了重大进展，EBM 不仅受到核心机器学习领域的越来越多的关注，而且还受到了语音、视觉、自然语言处理（NLP）等应用领域的关注。语音和语言的序列性质也带来了特殊的挑战，并需要与处理固定维度数据（如图像）有所不同的处理方法。因此，本文的目的是系统介绍能量基模型，包括算法进展和在语音和语言处理中的应用。首先，介绍了 EBM 的基础知识，包括经典模型、最近由神经网络参数化的模型、采样方法以及从经典学习算法到最先进算法的各种学习方法。然后，介绍了 EBM 在三种不同场景下的应用，即建模边际、条件和联合分布。1）用于语言建模的序列数据的 EBM 应用，其中主要关注的是序列本身的边际分布；2）用于建模给定观测序列条件分布的 EBM，在语音识别、序列标注和文本生成方面有应用；3）用于建模观测序列和目标序列的联合分布的 EBM 及其在半监督学习和校准自然语言理解方面的应用。

Mar, 2024

分子构象生成的神经生成动力学学习

本文提出了一种结合了流模型与能量模型的方法，以解决机器学习在从分子图生成分子空间构象时存在的挑战。经过大量实验，证明该方法在分子构象生成和距离建模任务上具有显著的改进和卓越性能。

Feb, 2021

能量基模型中的隐式生成和泛化

本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

Mar, 2019

非生成能量模型

本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

Apr, 2023

基于分数的生成模型生成置换不变的图

本研究提出了一种置换不变的方法来建模图，并使用基于置换等变的多通道图神经网络来建模数据分布。实验表明，该方法在学习离散图算法方面具有很好的能力，并在基准数据集上实现了比现有模型更好或相当的结果。

Mar, 2020

分子超图文法及其在分子优化中的应用

本文介绍一种新的分子超图文法变分自编码器 (MHG-VAE)，通过使用一个单一的 VAE 结合基于贝叶斯优化的技术，利用分子超图文法编码硬化学限制来指导 VAE 生成有效的分子，以解决分子优化中的两大挑战：有效性和成本效益。

Sep, 2018