Dec, 2023

让潜在的扩散模型能够在黑暗中看见

PDF
TL;DR通过将训练于大规模开放领域数据集的扩散模型变为生成先验，提出了一种新颖的基于扩散模型的低光图像增强方法，称为 LDM-SID，该方法通过向扩散模型中插入一组所提出的驯服模块来引导其生成过程，并在观察到扩散模型不同部分的特定生成先验后，将低频内容生成和高频细节维护二分，从而实现对扩散模型的优化结构生成和细节增强。广泛实验证明该方法在定量评估中实现了最先进的性能，并在视觉比较中显示出显著的优越性，从而强调了利用预训练的扩散模型作为 LLIE 任务的生成先验的有效性。
low-light image enhancementdiffusion modelgenerative priorsaffine transformation parametersstate-of-the-art performance
发现论文，激发创造
  • 基于小波扩散模型的低光照图像增强

    我们提出了一种名为 DiffLL 的稳健和高效的基于扩散模型的低光图像增强方法，它利用波浪变换加速推理并降低计算资源使用但不损失信息，并通过前向扩散和反向去噪实现稳定去噪和减少随机性。我们还设计了高频率恢复模块，利用图像的垂直和水平细节来补充对角信息以实现更好的细粒度恢复。大量实验证明，我们的方法在定量和视觉上均优于现有的最先进方法，并且与以前的扩散方法相比，在效率上获得了显着的提高。此外，我们还经验性地证明了方法在低光人脸检测方面的潜在实际价值。

    Jun, 2023

  • DiffuseRAW：端到端生成低光 RAW 图像处理

    利用扩散模型进行原始图像到处理图像的生成 ISP，以解决低光条件下成像的挑战。

    Dec, 2023

  • LighTDiff：使用 T-Diffusion 进行手术内窥镜图像低光增强

    通过使用 T 形模型架构对低分辨率图像进行全局结构信息的捕捉，并逐步恢复细节，我们提出了一种轻量级的 DDPM（LighTDiff），该模型在保留性能的同时显著减小了模型大小。同时，我们引入了时间光单元（TLU）来实现稳定训练和改善去噪结果，通过与去噪图像特征建立时间步骤的关联，建立去噪步骤的时间依赖性。此外，我们还引入了色度平衡器（CB）来缓解扩散模型中可能存在的光谱变化问题。我们的 LighTDiff 在计算效率方面优于许多竞争的 LLIE 方法。

    May, 2024

  • LLDiffusion: 低光图像增强中的扩散模型中学习衰减表示

    提出了一种基于扩散模型的降级感知学习方案，通过有效整合降级表示和图像先验进程，从而改善图像增强效果。并且在多个基准数据集上的实验证明，该方法在定量和定性上优于现有的低光图像增强方法。

    Jul, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 基于扩散模型的卫星低光图像增强

    本文提出了一种基于扩散模型的飞行器低光图像增强方法，通过一种数据集收集方案和自动化的物理模拟生成器来对数据进行预处理。我们的方法在图像亮度增强方面表现更好，在图像质量方面与以前的方法相当。

    Jun, 2023

  • DiffLLE: 无监督低光图像增强中的扩散导向领域校准

    本文提出了一种名为 DiffLLE 的基于扩散模型的无监督低光图像增强方法，通过扩散模型能有效地减少噪声，并在实际应用中桥接了真实低光域和训练降解域之间的差距，从而提高了增强模型的稳健性和有效性。

    Aug, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 潜在扩散先验增强的深度展开在光谱影像重建中的应用

    使用生成模型、潜在扩散模型和基于回归的深展开方法，提出了一种轻量级模型来生成导向重建过程，以改善快照压缩光谱成像重建的质量和计算效率。

    Nov, 2023

  • 差分隐私潜在扩散模型

    研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

    May, 2023