学习潜在空间的分层 EBM 扩散模型
本文研究多层生成模型在学习分层表示中的基本问题,并提出了一种联合潜在空间的基于能量的模型,通过多层潜在变量实现了有效的分层表示学习,并对数据分布建模。
Oct, 2023
本文提出了一种基于能量的模型 (EBM) 方法,通过在所有层的潜在变量上建立联合潜在空间 EBM 先验模型,以层内能量项捕捉每一层的内部上下文关系,跨不同层的潜在变量则通过联合校正。并提出联合训练方案 (最大似然估计 MLE 和基于推理模型的变分训练方案),使得学到的模型可以在生成高质量图像和捕捉分层特征方面具有表现力和更好的异常检测效果。
Jun, 2023
通过在生成模型的潜在空间中学习基于能量的模型(EBM),从而使 EBM 成为先验模型,该模型建立在生成模型的自上而下网络之上。通过最大似然联合学习,可以同时学习潜在空间的 EBM 和自上而下网络,并涉及从潜在向量的先验和后验分布中进行短程 MCMC 采样。由于潜在空间的低维度和自上而下网络的表现力,简单的潜在空间 EBM 可以有效地捕捉数据中的规律,并且潜在空间中的 MCMC 采样效率高且混合良好,表现出良好的图像和文本生成和异常检测能力。
Jun, 2020
该论文提出了一种新的基于扩散模型与潜空间 EBM 的符号学方法,该方法结合了基于几何聚类的正则化与信息瓶颈,从而在解释性文本建模方面表现出比强大对手更优异的性能。
Jun, 2022
本文介绍了一种基于扩散的摊销方法来解决长期 MCMC 采样问题,并基于此开发了一种新的学习算法,用于隐空间 EBM。实验证明,与强对手相比,我们的方法在几个图像建模基准数据集上具有优秀的性能。
Oct, 2023
本文介绍了通过引入扩散数据和使用增强采样算法,通过持续对比散度学习一种联合的能量基模型,称为扩散辅助 - EBM,来实现复杂的,多模态分布的准确采样和密度估计,并进行了 2D 和图像实验,证明了持续训练的 EBMs 可以同时实现长时间稳定性,后训练图像生成和卓越的异常检测。
Apr, 2023
本文提出了一种基于对比学习的框架,通过引入对比潜变量来改进能量基模型的训练,设计一种新类的潜变量 EBMs 实现数据联合密度估计和对比潜变量的联合训练,实验结果表明该方案比现有的 EBM 方法(如变分自动编码器或扩散技术)具有更低的 FID 分数,训练速度更快、内存效率更高,并展示了该潜变量 EBMs 的条件和组合生成能力。
Mar, 2023
通过将能量式模型(EBMs)嵌入到去噪步骤中,将长时间生成的过程分解为几个较小步骤,采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练,以解决对抗性 EBMs 存在的主要挑战,实验证明与现有的对抗性 EBMs 相比,在生成方面有显著的改进,同时为高效密度估计提供了有用的能量函数。
Mar, 2024
本研究聚焦于将能量模型(EBM)作为动作优化的指导先验进行集成的问题,并研究了在学习 EBMs 时包括额外的正则化器的益处以及多种情况下 EBM 能够集成到运动优化中的表现及性能评估。
Apr, 2022