Jul, 2023

单图低动态范围（LDR）到高动态范围（HDR）转换的条件扩散

PDF
TL;DR该研究论文提出了一种基于深度学习的方法，用于从阴影和高光中恢复复杂细节以及重建高动态范围图像，通过图像到图像转换任务，提出了一种基于条件性去噪扩散概率模型（DDPM）的框架，并在该框架中结合了深度卷积神经网络（CNN）的自编码器来提高用于条件化的输入 LDR 图像的潜在表征质量，此外引入了一种新的损失函数来改善 LDR-HDR 转换任务的结果质量。通过全面的定量和定性实验，有效地展示了该方法的优越性，结果表明简单的基于扩散的条件方法可以取代复杂的基于相机管线的架构。
digital imaginglow dynamic range (ldr)high dynamic range (hdr)deep learningimage-to-image translation
发现论文，激发创造
  • 基于条件扩散模型的高质量 HDR 去鬼影

    从低动态范围（LDR）图像中恢复高动态范围（HDR）图像是通过现有的深度神经网络（DNN）技术实现的。但是，基于 DNN 的方法在 LDR 图像存在饱和度和大动作时仍然会生成虚影伪影，这限制了其在真实世界场景中的应用潜力。为了解决这个挑战，我们将 HDR 去伪影问题转化为基于图像生成的问题，利用 LDR 特征作为扩散模型的条件，包括特征条件生成器和噪声预测器。特征条件生成器利用注意力和域特征对齐（DFA）层来转换中间特征，以避免虚影伪影。通过学习得到的特征作为条件，噪声预测器利用随机迭代去噪过程来通过控制采样过程生成 HDR 图像。此外，为了减轻 LDR 图像饱和问题引起的语义混淆，我们设计了一个滑动窗口噪声估计器，以块为单位进行平滑噪声采样。另外，提出了一个图像空间损失来避免估计的 HDR 结果的色彩失真。我们通过在 HDR 成像的基准数据集上进行实证评估，结果表明我们的方法在性能上达到了最先进水平，并且对真实世界图像具有良好的泛化能力。

    Nov, 2023

  • 曝光扩散：通过一致的低动态范围去噪生成高动态范围图像

    使用多个预训练的低动态范围 (LDR) 图像扩散模型的协同作用生成高动态范围 (HDR) 图像，并引入曝光一致性项将 LDR 图像融合，达到有效的 HDR 结果。

    May, 2024

  • Deep Chain HDRI：从单幅低动态范围图像重建高动态范围图像

    本文提出了一种基于深度神经网络和卷积神经网络的新型算法来重建高动态范围图像，其方法相较于传统算法在可视化品质和峰值信噪比方面有较大幅度的提高。

    Jan, 2018

  • 扩散促进的高动态范围视频重建

    提出了一种名为 HDR-V-Diff 的高动态范围（HDR）视频重建方法，结合扩散模型以实现 HDR 分布，通过 HDR Latent Diffusion Model（HDR-LDM）学习单个 HDR 帧的分布先验知识，通过 Temporal-Consistent Alignment Module（TCAM）学习时序信息，使用 Zero-Init Cross-Attention（ZiCA）机制整合先验分布和时序信息，从而生成具有真实细节的 HDR 帧。经过广泛实验证明，HDR-V-Diff 在多个代表性数据集上实现了最先进的结果。

    Jun, 2024

  • 基于深度互逆 HDR 变换的图像校正

    本文提出了一种 Deep Reciprocating HDR Transformation (DRHT) 的方法，将图像纠正任务转化为 HDR 数据的转换处理，使用两个 CNN 来进行 HDR 重建和色调映射，并在标准基准上表现出优越的性能。

    Apr, 2018

  • 高动态范围图像重建的双阶段深度网络

    本研究提出了一种新的两阶段深度网络，旨在通过第一阶段的图像增强任务和第二阶段基于数据样本的色调映射和位扩展，将单次曝光的低动态范围图像映射成高动态范围图像，无需了解相机响应函数（CRF）和曝光设置等硬件信息。实验结果表明，该方法可以在质量和数量上超过现有的低动态范围到高动态范围的工作，并且在真实世界低动态范围图像评估中也能够重建出逼真的 HDR 图像。

    Apr, 2021

  • 学习相机回退管线进行单图高动态范围重建

    该研究提出了一种基于 CNN 的图像重建算法，通过采用域知识来对低动态范围图像制造管道进行建模，并将重建问题分解为特定的子任务，最终的模型相比现有的单一图像 HDR 重建算法表现更好。

    Apr, 2020

  • 使用深度卷积神经网络从单个曝光重建 HDR 图像

    本文介绍了一种基于深度学习算法的深度卷积神经网络，用于从单张曝光照片中预测 HDR 图像信息，可以在各种不同情况下重建出高分辨率、视觉上令人信服的 HDR 图像，具有广泛的应用前景。

    Oct, 2017

  • 学习从单张图像预测室内照明

    本文提出了一个自动方法，通过使用一个有限的视野、低动态范围的室内场景的照片来推断高动态范围的照明。通过使用深度神经网络，我们训练了一个分类器来自动注释 LDR 环境地图中光源的位置，然后利用这些注释来预测场景中光的位置，从而 fine-tune 这个网络来预测每个光源的强度，可以自动获得高质量的 HDR 照明估计结果，从而可以实现逼真的照片级结果。

    Apr, 2017

  • Sagiri: 低动态范围图像增强与生成扩散先验

    通过两阶段方法实现高动态范围（HDR）图像增强，第一阶段对颜色和亮度进行映射调整，第二阶段利用扩散先验生成在捕捉中丢失的动态范围极端处的内容，显著提高 LDR 图像的质量和细节。

    Jun, 2024