Dec, 2019

能量模型的流对比估计

PDF
TL;DR该论文提出了一种新的训练方法，该方法联合估计基于能量和基于流的模型，并且这两个模型通过共享的敌对价值函数进行迭代更新。该方法通过噪声对比估计来更新基于能量的模型，以流模型作为强噪声分布。同时，该方法还近似地最小化了流模型与数据分布之间的 Jensen-Shannon 距离，相比生成式对抗网络（GAN）能够更有效地在无监督特征学习和半监督学习中表现。
energy-based modelflow-based modeladversarial value functionunsupervised feature learningsemi-supervised learning
发现论文，激发创造
  • 能量模型对比散度训练的改进

    通过改进 CD 训练方法， 研究表明难以计算但可以计算出来的梯度对于避免训练不稳定性很重要，并可以使用数据增强和多尺度处理来提高模型的鲁棒性和生成质量，通过在多个基准测试中评估模型架构的稳定性，以及在图像生成，OOD 检测和合成生成等用例中表现出改进的性能。

    Dec, 2020

  • 基于能量的 GFlowNets 一致性训练用于建模离散联合分布

    本研究基于联合能量模型，提出了一个名为 JEBGFNs 的模型，用于生成多个变量的离散对象。通过对抗性奖励，结合 GFlowNet 模型训练参数，此模型在生成抗菌肽方面的性能得到了显著改善，并在发现抗菌肽的主动学习设置中得到了评估。

    Nov, 2022

  • 利用得分匹配目标训练基于能量的正则化流

    通过使用新的基于能量的面向流模型 EBFlow，无需计算雅可比行列式即可在流模型的构建中使用任意线性层，从而提高了训练效率并提高了性能。

    May, 2023

  • 使用单向流进行对抗性似然估计

    生成对抗网络（GANs）可以生成高质量的样本，但不能提供样本周围的概率密度估计。本文通过最大化 log-likelihood 来建议改进分区函数的无偏估计方法，同时最大化生成器熵以提供更好的模式覆盖，利用一种新型的流网络 —— 单向流网络来计算生成样本的密度，从而设计出分区函数的无偏估计方法，并在实验中验证了该方法的快速收敛性、与相似结构 GANs 相当的样本质量、成功避免过度拟合常见数据集以及产生平滑的低维潜在数据表示。

    Jul, 2023

  • 通过对比学习的混合判别生成训练

    该论文通过能量基模型的混合判别 - 生成式训练，展现出对比学习和监督学习之间的直接联系，并且提出的能量基损失函数的逼近方法有着比现有方法更好的分类准确性、鲁棒性、分布检测和校准性能。

    Jul, 2020

  • 具有能量分布概率评估的深度有向生成模型

    本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

    Jun, 2016

  • 两种流的故事：Langevin 流和归一化流的协作学习助力于能量模型

    研究合作学习的两个生成流模型，第一个模型是归一化流将简单密度转换为目标密度，第二个模型是 Langevin 流向能量模型运行梯度 MCMC。研究表明 CoopFlow 算法是一个有效的生成器，并展示了它生成逼真图像的能力。

    May, 2022

  • 能量基生成对抗网络的校准

    本文提出了一种在生成对抗网络中产生直接能量估计样本的方法，并证明该方法不仅可以确保生成器收敛到真实数据分布，而且还能使辨别器在全局最优时保留密度信息。我们推导出所引入解决方案的解析形式，并分析其性质。为了使所提出的框架在实践中可训练，我们引入了两种有效的近似技术。实验结果与理论分析紧密匹配，证明辨别器能够恢复数据分布的能量。

    Feb, 2017

  • 通过扩散过程改进敌对能量模型

    通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

    Mar, 2024

  • 再探能量模型作为策略：排序噪声对比估计和插值能量模型

    通过引入排名噪声对比估计（R-NCE）、可学习的负采样器和非对抗联合训练等关键因素，我们证明了高维连续空间中能量模型在训练时并不是不切实际的，我们的训练算法使能量模型作为策略在多模态路径规划和有接触力量推动等难度较高的基准测试中与扩散模型和其他最先进方法相竞争甚至表现更好。

    Sep, 2023