使用联合潜在空间能量先验学习层次特征
本文提出了一种基于能量的模型 (EBM) 方法,通过在所有层的潜在变量上建立联合潜在空间 EBM 先验模型,以层内能量项捕捉每一层的内部上下文关系,跨不同层的潜在变量则通过联合校正。并提出联合训练方案 (最大似然估计 MLE 和基于推理模型的变分训练方案),使得学到的模型可以在生成高质量图像和捕捉分层特征方面具有表现力和更好的异常检测效果。
Jun, 2023
这项工作研究了基于能量的先验模型和多层生成器模型的学习问题。我们使用扩散概率方案来缓解能量模型的采样负担,并促进能量模型的学习,在各种具有挑战性的任务中展示出卓越的性能。
May, 2024
通过在生成模型的潜在空间中学习基于能量的模型(EBM),从而使 EBM 成为先验模型,该模型建立在生成模型的自上而下网络之上。通过最大似然联合学习,可以同时学习潜在空间的 EBM 和自上而下网络,并涉及从潜在向量的先验和后验分布中进行短程 MCMC 采样。由于潜在空间的低维度和自上而下网络的表现力,简单的潜在空间 EBM 可以有效地捕捉数据中的规律,并且潜在空间中的 MCMC 采样效率高且混合良好,表现出良好的图像和文本生成和异常检测能力。
Jun, 2020
该论文提出了一种新的基于扩散模型与潜空间 EBM 的符号学方法,该方法结合了基于几何聚类的正则化与信息瓶颈,从而在解释性文本建模方面表现出比强大对手更优异的性能。
Jun, 2022
本文介绍了一种基于扩散的摊销方法来解决长期 MCMC 采样问题,并基于此开发了一种新的学习算法,用于隐空间 EBM。实验证明,与强对手相比,我们的方法在几个图像建模基准数据集上具有优秀的性能。
Oct, 2023
本文提出了一种基于对比学习的框架,通过引入对比潜变量来改进能量基模型的训练,设计一种新类的潜变量 EBMs 实现数据联合密度估计和对比潜变量的联合训练,实验结果表明该方案比现有的 EBM 方法(如变分自动编码器或扩散技术)具有更低的 FID 分数,训练速度更快、内存效率更高,并展示了该潜变量 EBMs 的条件和组合生成能力。
Mar, 2023
本文提出一种联合训练方法,从而学习变分自动编码器(VAE)和潜在基于能量模型(EBM)。该联合训练方法基于一个客观函数,其中包括三个关于潜空间和图像的共同分布的 Kulback-Leibler 分歧,从而无缝集成多样化和对抗性学习。实验表明,这种联合训练极大地提高了 VAE 的综合质量,也使得学习能够检测异常的能量函数成为可能。
Jun, 2020
本研究聚焦于将能量模型(EBM)作为动作优化的指导先验进行集成的问题,并研究了在学习 EBMs 时包括额外的正则化器的益处以及多种情况下 EBM 能够集成到运动优化中的表现及性能评估。
Apr, 2022
提出了一种基于生成式视觉 transformer 的显著目标检测方法,使用了具有信息能量的先验模型,通过 MCMC 最大似然估计的方法训练视觉 transformer 网络和先验模型,并结合 RGB 和 RGB-D 两种数据进行大量实验,选取更有表现力的能量信息先验,得到了更为准确和人类感知一致的显著性预测和像素级的不确定性地图。
Dec, 2021