Jun, 2024

Sagiri: 低动态范围图像增强与生成扩散先验

PDF
TL;DR通过两阶段方法实现高动态范围（HDR）图像增强，第一阶段对颜色和亮度进行映射调整，第二阶段利用扩散先验生成在捕捉中丢失的动态范围极端处的内容，显著提高 LDR 图像的质量和细节。
发现论文，激发创造
  • 单图低动态范围（LDR）到高动态范围（HDR）转换的条件扩散

    该研究论文提出了一种基于深度学习的方法，用于从阴影和高光中恢复复杂细节以及重建高动态范围图像，通过图像到图像转换任务，提出了一种基于条件性去噪扩散概率模型（DDPM）的框架，并在该框架中结合了深度卷积神经网络（CNN）的自编码器来提高用于条件化的输入 LDR 图像的潜在表征质量，此外引入了一种新的损失函数来改善 LDR-HDR 转换任务的结果质量。通过全面的定量和定性实验，有效地展示了该方法的优越性，结果表明简单的基于扩散的条件方法可以取代复杂的基于相机管线的架构。

    Jul, 2023

  • RawHDR：单张 RAW 图像的高动态范围图像重建

    通过将更多信息的 Raw 传感器数据与现有的 8 位 LDR sRGB 图像相结合，本文提出了一种适用于 Raw 图像的模型，通过学习曝光蒙版、双强度引导和全局空间引导等方法，实现对高动态范围场景的重建，并通过大量的 Raw/HDR 数据集进行实证评估，验证了该方法的优越性。

    Sep, 2023

  • 曝光扩散：通过一致的低动态范围去噪生成高动态范围图像

    使用多个预训练的低动态范围 (LDR) 图像扩散模型的协同作用生成高动态范围 (HDR) 图像，并引入曝光一致性项将 LDR 图像融合，达到有效的 HDR 结果。

    May, 2024

  • 基于条件扩散模型的高质量 HDR 去鬼影

    从低动态范围（LDR）图像中恢复高动态范围（HDR）图像是通过现有的深度神经网络（DNN）技术实现的。但是，基于 DNN 的方法在 LDR 图像存在饱和度和大动作时仍然会生成虚影伪影，这限制了其在真实世界场景中的应用潜力。为了解决这个挑战，我们将 HDR 去伪影问题转化为基于图像生成的问题，利用 LDR 特征作为扩散模型的条件，包括特征条件生成器和噪声预测器。特征条件生成器利用注意力和域特征对齐（DFA）层来转换中间特征，以避免虚影伪影。通过学习得到的特征作为条件，噪声预测器利用随机迭代去噪过程来通过控制采样过程生成 HDR 图像。此外，为了减轻 LDR 图像饱和问题引起的语义混淆，我们设计了一个滑动窗口噪声估计器，以块为单位进行平滑噪声采样。另外，提出了一个图像空间损失来避免估计的 HDR 结果的色彩失真。我们通过在 HDR 成像的基准数据集上进行实证评估，结果表明我们的方法在性能上达到了最先进水平，并且对真实世界图像具有良好的泛化能力。

    Nov, 2023

  • 高动态范围图像重建的双阶段深度网络

    本研究提出了一种新的两阶段深度网络，旨在通过第一阶段的图像增强任务和第二阶段基于数据样本的色调映射和位扩展，将单次曝光的低动态范围图像映射成高动态范围图像，无需了解相机响应函数（CRF）和曝光设置等硬件信息。实验结果表明，该方法可以在质量和数量上超过现有的低动态范围到高动态范围的工作，并且在真实世界低动态范围图像评估中也能够重建出逼真的 HDR 图像。

    Apr, 2021

  • 扩散促进的高动态范围视频重建

    提出了一种名为 HDR-V-Diff 的高动态范围（HDR）视频重建方法，结合扩散模型以实现 HDR 分布，通过 HDR Latent Diffusion Model（HDR-LDM）学习单个 HDR 帧的分布先验知识，通过 Temporal-Consistent Alignment Module（TCAM）学习时序信息，使用 Zero-Init Cross-Attention（ZiCA）机制整合先验分布和时序信息，从而生成具有真实细节的 HDR 帧。经过广泛实验证明，HDR-V-Diff 在多个代表性数据集上实现了最先进的结果。

    Jun, 2024

  • 语义感知扩散逆色调映射

    本文提出了一种新颖的逆向色调映射方法，通过基于语义感知的扩散补全方法在遮罩区域中生成丢失的剪切区域的细节，并借鉴传统的 HDR 成像和曝光方法，提出了一种与生成式补全方法兼容的将 SDR 补全区域提升为 HDR 图像的原则式公式。结果表明，我们的方法在客观指标上展现出卓越的性能，并且主观实验表明，所提出的方法在视觉保真度方面与最先进的逆向色调映射算子相匹配（在大多数情况下超越）和超过它们。

    May, 2024

  • 高动态范围成像技术在饱和补偿下对动态场景的应用

    本文提出了一种新方法，通过将运动对准问题重新制定为简单的亮度调整问题来生成对齐的多曝光特征，并采用粗糙到精细的合并策略和显式饱和度补偿来恢复饱和区域，其中使用自适应的上下文关注重建饱和区域，实验证明我们的方法在定性和定量评估方面优于现有的最先进方法。

    Aug, 2023

  • Deep Chain HDRI：从单幅低动态范围图像重建高动态范围图像

    本文提出了一种基于深度神经网络和卷积神经网络的新型算法来重建高动态范围图像，其方法相较于传统算法在可视化品质和峰值信噪比方面有较大幅度的提高。

    Jan, 2018

  • 让潜在的扩散模型能够在黑暗中看见

    通过将训练于大规模开放领域数据集的扩散模型变为生成先验，提出了一种新颖的基于扩散模型的低光图像增强方法，称为 LDM-SID，该方法通过向扩散模型中插入一组所提出的驯服模块来引导其生成过程，并在观察到扩散模型不同部分的特定生成先验后，将低频内容生成和高频细节维护二分，从而实现对扩散模型的优化结构生成和细节增强。广泛实验证明该方法在定量评估中实现了最先进的性能，并在视觉比较中显示出显著的优越性，从而强调了利用预训练的扩散模型作为 LLIE 任务的生成先验的有效性。

    Dec, 2023