图像生成的光学扩散模型
通过在预训练的自编码器的潜在空间中应用扩散模型,引入交叉注意力层到模型体系结构中,以更少的计算要求取得接近最优的性能,实现高分辨率合成,缩小像素级DMs对计算资源的需求。
Dec, 2021
通过将扩散模型推广到旋转坐标系并引入模糊扩散,本文提出了一种新的粗到细的图像生成过程,以此来考虑图像中不同频率的相对重要性,实验结果表明此方法在 LSUN 卧室和教堂数据集上的成果优于之前的方法。
Jul, 2022
本研究提出了一种基于扩散模型的任意时间图像生成方法,使用两个嵌套扩散过程进行快速迭代细化,并允许根据用户的瞬时偏好进行灵活调度。在 ImageNet 数据集和稳定扩散的文本到图像生成实验中,我们显示了我们的中间生成质量大大超过原始扩散模型,同时最终缓慢的生成结果仍然可比较。
May, 2023
我们提出了一种名为DiffLL的稳健和高效的基于扩散模型的低光图像增强方法,它利用波浪变换加速推理并降低计算资源使用但不损失信息,并通过前向扩散和反向去噪实现稳定去噪和减少随机性。我们还设计了高频率恢复模块,利用图像的垂直和水平细节来补充对角信息以实现更好的细粒度恢复。大量实验证明,我们的方法在定量和视觉上均优于现有的最先进方法,并且与以前的扩散方法相比,在效率上获得了显着的提高。此外,我们还经验性地证明了方法在低光人脸检测方面的潜在实际价值。
Jun, 2023
本文展示了使用去噪扩散概率模型进行单目 depth 和 optical flow 估计,通过 Monte Carlo 推理,结合了自监督预训练和合成和真实数据的监督训练,能够在去噪和缺陷数据方面提供技术创新,以及对于不确定性和多模态的处理能力等方面都能取得最先进的效果。DDVM 是本文中提出的模型,相对深度误差为 0.074,比最佳发布方法的 Fl-all outlier rate 高 25%。
Jun, 2023
光学拍摄图像去噪器是一种速度快、能耗低的方法,通过物理上分散光学模式来去除不同噪音特征,可以高效地清除图像中的噪音和伪影,适用于各种图像显示和投影系统。
Sep, 2023
利用连续动力系统设计一种新型去噪网络,以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比,该模型具有约四分之一的参数量和百分之三十的浮点操作数(FLOPs),推理速度提高了70%,并且收敛到了更好的质量解。
Oct, 2023
通过分析偏差-方差分解和实验观察,我们提出了一种基于空间拟合误差减少的蒸馏模型(SFERD),该模型利用教师模型的注意力引导和设计的语义梯度预测器来降低学生模型的拟合误差,从而在少量函数评价中实现高质量的样本生成,并在CIFAR-10上取得了5.31的FID和ImageNet 64×64上取得了9.39的FID,超过了现有的扩散方法。我们的研究突出了模型的本质去噪能力,为扩散蒸馏提供了新的视角。
Nov, 2023
高分辨率图像生成中的噪声扩散概率模型(DDPM)是研究的关键,通过引入扩散状态空间模型(DiffuSSM)架构来处理高分辨率图像的生成和表示,从而显著降低计算复杂度,并展示了与使用注意力模块的扩散模型相媲美甚至优于的生成图像质量和计算效率。
Nov, 2023
我们提出了LayerDiffusion方法,使得大规模预训练潜在扩散模型能够生成透明图像。该方法通过将alpha通道透明度编码到预训练潜在扩散模型的潜在流形中,学习了“潜在透明度”。通过调整潜在空间并微调预训练模型,可以将任何潜在扩散模型转换为透明图像生成器。我们通过人机协作收集1M个透明图像层对来训练该模型,并展示了潜在透明度在不同开源图像生成器和条件控制系统中的应用。用户研究发现,在大多数情况下(97%),用户更喜欢我们本地生成的透明内容,而不是之前的临时解决方案,如生成和镶嵌。用户还报告称我们生成的透明图像的质量可与Adobe Stock等真实商业透明资产相媲美。
Feb, 2024