ICMLDec, 2020

能量模型对比散度训练的改进

PDF
TL;DR通过改进 CD 训练方法， 研究表明难以计算但可以计算出来的梯度对于避免训练不稳定性很重要，并可以使用数据增强和多尺度处理来提高模型的鲁棒性和生成质量，通过在多个基准测试中评估模型架构的稳定性，以及在图像生成，OOD 检测和合成生成等用例中表现出改进的性能。
contrastive divergenceenergy-based modelstraining stabilitydata augmentationgeneration quality
发现论文，激发创造
  • 通过对比学习的混合判别生成训练

    该论文通过能量基模型的混合判别 - 生成式训练，展现出对比学习和监督学习之间的直接联系，并且提出的能量基损失函数的逼近方法有着比现有方法更好的分类准确性、鲁棒性、分布检测和校准性能。

    Jul, 2020

  • 学习深度能量模型：对比散度与分摊最大似然方法

    本文提出了几种新的深度能量模型算法，其中 SteinCD 在测试似然度方面表现良好，而 SteinGAN 在生成逼真图像方面表现良好。我们的结果表明，通过将 GAN 风格的方法与传统的能量学习方法相结合，可以学习出更好的模型。

    Jul, 2017

  • 通过对抗训练的分类和基于能量的判别增强一致性图像生成

    在这项研究中，我们提出了一种新颖而高效的技术来改善基于一致性模型生成的图像的感知质量，并利用联合分类器 - 判别器模型进行后处理，通过引导示例特定的投影梯度迭代，使合成图像更加精细，从而在 ImageNet 64x64 数据集上获得了改进的 FID 得分，适用于一致性训练和一致性蒸馏技术。

    May, 2024

  • 能量模型的流对比估计

    该论文提出了一种新的训练方法，该方法联合估计基于能量和基于流的模型，并且这两个模型通过共享的敌对价值函数进行迭代更新。该方法通过噪声对比估计来更新基于能量的模型，以流模型作为强噪声分布。同时，该方法还近似地最小化了流模型与数据分布之间的 Jensen-Shannon 距离，相比生成式对抗网络（GAN）能够更有效地在无监督特征学习和半监督学习中表现。

    Dec, 2019

  • 用扩散对比散度训练能量模型

    本文提出了一种更加高效的 Diffusion Contrastive Divergence 算法，将其作为 Contrastive Divergence 算法的一种特殊实例，并在合成数据建模、图片去噪和生成等方面进行了实验，结果表明新算法在计算效率和生成性能方面都优于传统算法。

    Jul, 2023

  • 广义对比散度：借助逆强化学习的能量模型和扩散模型的联合训练

    我们提出了广义对比散度（GCD），这是一种同时训练能量模型（EBM）和采样器的新型客观函数。GCD 通过用可训练的采样器（如扩散模型）取代马尔可夫链蒙特卡罗（MCMC）分布，将对比散度（Hinton, 2002）这种训练 EBM 的著名算法进行泛化。在 GCD 中，EBM 和扩散模型的联合训练被制定为一个极小 - 极大问题，在两个模型都收敛到数据分布时达到平衡。通过 GCD 的极小 - 极大学习与逆强化学习存在有趣的等价性，其中能量对应于负奖励，扩散模型是一种策略，真实数据是专家示范。我们提出了初步但有前途的结果，表明联合训练对 EBM 和扩散模型都有益处。GCD 使得 EBM 训练无需 MCMC，同时提高了扩散模型的样本质量。

    Dec, 2023

  • 生成模型、能量模型和推理模型的联合训练中的差异三角

    本文提出了发散三角形作为生成模型、能量模型和推断模型联合训练的框架，通过统一概率公式，该方法可以无需昂贵的 MCMC 方法即可进行采样、推断和能量评估的过程，并且通过实验证明其可以有效地从不完整的数据中学习出合适的能量模型、直接采样和重构观察数据和合成数据的前馈推断。

    Dec, 2018

  • 能量不一致性：一种基于能量模型独立于评分的损失函数

    提出了一种新的损失函数 —— 能量差异，可以快速且准确地训练能量模型，并在极限情况下逼近显式分数匹配和负对数似然损失，解决了分数估计方法中存在的近视问题，同时也具有理论保证。

    Jul, 2023

  • 使用能量偏差训练离散能量模型

    本文介绍了通过能量差异（ED）这种新型对比损失函数训练离散能量模型（EBMs）的方法，并研究了基于伯努利噪声、确定性变换和邻域结构的三种扰动过程对其效果的影响。

    Jul, 2023

  • 基于联合对比能量的模型，用于理解对抗训练的生成能力

    该研究通过开发一种统一的概率框架 CEM，提供了关于 Adversarial Training（AT）的概率描述，并将其扩展到了无监督学习场景，提出了一种有原则的方法来开发对抗性学习和采样方法，实验表明，我们得到的采样方法提高了监督和无监督学习的样本质量。

    Mar, 2022