通过单一基于能量的模型完成图像生成和分类
介绍了一种名为 “能量基生成对抗网络”(EBGAN)的模型,将判别器视为能量函数,用于选定数据流形附近区域的低能量和其他区域的高能量,可以使用多种体系结构和损失函数,本文采用自编码器架构,以重构误差作为能量,实现了高分辨率图像的生成。
Sep, 2016
在这项研究中,我们提出了一种新颖而高效的技术来改善基于一致性模型生成的图像的感知质量,并利用联合分类器 - 判别器模型进行后处理,通过引导示例特定的投影梯度迭代,使合成图像更加精细,从而在 ImageNet 64x64 数据集上获得了改进的 FID 得分,适用于一致性训练和一致性蒸馏技术。
May, 2024
本文介绍了一系列训练技术来填补 JEM 的准确性和生成质量之间的差距,包括使用 SAM 框架来促进 JEM 能量景观的平滑性和泛化能力,将数据增强从 JEM 的最大似然估计管道中排除,并缓解数据增强对图像生成质量的负面影响。大量实验证明,我们的 SADA-JEM 在图像分类、图像生成、校准、外部分布检测和对抗鲁棒性方面均取得了突出表现,优于 JEM。
Sep, 2022
本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术,在许多高维度数据域上,如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型,并接近当代生成对抗网络 GAN 的表现,同时覆盖所有数据模态。此外,作者还阐述了基于 EBM 的独特能力,如组合性和损坏图像的重建和修复,最后证明 EBMs 模型是跨多种任务有用的模型,进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹
Mar, 2019
本文提出了一种在生成对抗网络中产生直接能量估计样本的方法,并证明该方法不仅可以确保生成器收敛到真实数据分布,而且还能使辨别器在全局最优时保留密度信息。我们推导出所引入解决方案的解析形式,并分析其性质。为了使所提出的框架在实践中可训练,我们引入了两种有效的近似技术。实验结果与理论分析紧密匹配,证明辨别器能够恢复数据分布的能量。
Feb, 2017
提出了一种名为 External Classifier GAN(EC-GAN)的新型 GAN 模型,利用 GAN 和半监督算法来改进完全监督区域的分类。通过将外部分类器附加到 GAN 的生成器上,我们的实验结果表明 EC-GAN 的表现可与共享架构方法相媲美,远优于标准的数据增强和基于正则化的方法,且可用于小规模、现实数据集。
Dec, 2020
本文介绍了一种基于能量的学习框架,用于生成场景图,允许将场景图的结构有效地纳入输出空间中,通过在学习框架中添加一些约束条件,可以最终提高模型的性能,在视觉基因组和 GQA 基准数据集上的性能提高了 21%和 27%,在零样本和少样本情况下优于现有模型。
Mar, 2021
本文提出了一种多网格方法,用于学习基于能量的图像生成 ConvNet 模型,展示了其在生成更逼真的图像方面优于原始的对比散度和连续对比散度。
Sep, 2017