AEROBLADE:使用自动编码器重构误差进行无需训练的潜在扩散图像检测
本文介绍了一种更快的图像重建框架 LMD,通过潜在遮蔽扩散方法,将高分辨率图像投影和重建在潜在空间中,设计了渐进遮蔽扩散模型,通过三种不同的调度器逐渐提高遮蔽比例,以从简单到困难地重建潜在特征,从而加快模型训练速度,同时保持了原始准确性,并在下游任务中显著提高推理速度。
Dec, 2023
通过在预训练的自编码器的潜在空间中应用扩散模型,引入交叉注意力层到模型体系结构中,以更少的计算要求取得接近最优的性能,实现高分辨率合成,缩小像素级 DMs 对计算资源的需求。
Dec, 2021
通过引入 LiteVAE,一种基于 2D 离散小波变换的自编码器家族,我们在维持输出质量的同时提高了可扩展性和计算效率,基本 LiteVAE 模型在高分辨率图像生成方面与现有的 VAEs 相当,但编码器参数减少了六倍,导致更快的训练速度和更低的 GPU 内存需求,而我们的较大模型在所有评估指标(rFID、LPIPS、PSNR 和 SSIM)上均优于复杂度相当的 VAEs。
May, 2024
研究训练以潜在空间作为输入的 LDM 的方法,与传统的 Diffusion Models 相比,通过使用预训练的自动编码器将高维像素空间降为低维潜在空间,大大提高了训练效率,并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数,最终的实验结果表明该方法在生成高质量合成图像时表现突出。
May, 2023
本研究介绍了一种基于文本的图像编辑方法,利用最新的扩散模型对一些基于文本主题的地方图像进行编辑,通过结合扩散模型的速度和 Blended Diffusion,提高了编辑的效率,并通过优化方法来解决扩散模型无法完美重建图像的问题,实现了比当前方法更高的精度和速度
Jun, 2022
通过对代理模型属性的调查,从对抗迁移的角度出发,我们发现选择更平滑的代理模型能够显著提高基于蒙特卡罗的对抗样本的性能,同时通过理论分析解释了为什么平滑的代理模型也可以增强潜在扩散模型的对抗样本。
Jan, 2024
本篇研究介绍 Diff-AE 与 GAE 两种基于 Diffusion probabilistic models 的编码器模型,实现由多个属性进行图像编辑和生成,大大降低了计算需求,并达到了相当不错的效果,对潜在特征得到了更好的分离。
Jul, 2023
本文提出了一种基于现有预训练 DPM 模型的图像重建通用方法 PDAE,实现了比 Diff-AE 更好的训练效率和性能,并通过对分类器引导采样的机制填补信息缺失的空隙,使编码器对图像进行更好的重建,表现出了较高的有效性、效率和灵活性。
Dec, 2022
最近的研究表明,深度神经网络对于对抗性攻击很容易受到攻击,而精心训练的样本或补丁可以欺骗神经网络检测器或人类视觉感知。为了解决这个问题,本文提出了一种名为潜在扩散补丁(LDP)的新型对抗性补丁方法,首先设计了一个预训练的编码器将自然图像压缩到具有关键特征的特征空间,然后使用上述特征空间训练扩散模型,最后通过图像去噪技术探索预训练扩散模型的潜在空间,通过扩散模型的强大的自然能力对补丁和图像进行改进,使它们更容易被人类视觉系统接受。实验结果在数字和物理世界中均表明,LDP 在视觉主观评分上达到了 87.3%,同时仍然保持有效的攻击能力。
Dec, 2023
基于视图空间和潜在扩散模型的 3D 感知图像合成方法,通过压缩潜在表示学习图像的 3D 结构,实现高质量的 3D-consistent 图像合成,无需多视角或 3D 几何的直接监督,不依赖于规范化的相机坐标。
Nov, 2023