Nov, 2023

基于条件扩散模型的高质量 HDR 去鬼影

PDF
TL;DR从低动态范围（LDR）图像中恢复高动态范围（HDR）图像是通过现有的深度神经网络（DNN）技术实现的。但是，基于 DNN 的方法在 LDR 图像存在饱和度和大动作时仍然会生成虚影伪影，这限制了其在真实世界场景中的应用潜力。为了解决这个挑战，我们将 HDR 去伪影问题转化为基于图像生成的问题，利用 LDR 特征作为扩散模型的条件，包括特征条件生成器和噪声预测器。特征条件生成器利用注意力和域特征对齐（DFA）层来转换中间特征，以避免虚影伪影。通过学习得到的特征作为条件，噪声预测器利用随机迭代去噪过程来通过控制采样过程生成 HDR 图像。此外，为了减轻 LDR 图像饱和问题引起的语义混淆，我们设计了一个滑动窗口噪声估计器，以块为单位进行平滑噪声采样。另外，提出了一个图像空间损失来避免估计的 HDR 结果的色彩失真。我们通过在 HDR 成像的基准数据集上进行实证评估，结果表明我们的方法在性能上达到了最先进水平，并且对真实世界图像具有良好的泛化能力。
high dynamic range imagesdeep neural networksghosting artifactshdr deghosting problemreal-world scenarios
发现论文，激发创造
  • 单图低动态范围（LDR）到高动态范围（HDR）转换的条件扩散

    该研究论文提出了一种基于深度学习的方法，用于从阴影和高光中恢复复杂细节以及重建高动态范围图像，通过图像到图像转换任务，提出了一种基于条件性去噪扩散概率模型（DDPM）的框架，并在该框架中结合了深度卷积神经网络（CNN）的自编码器来提高用于条件化的输入 LDR 图像的潜在表征质量，此外引入了一种新的损失函数来改善 LDR-HDR 转换任务的结果质量。通过全面的定量和定性实验，有效地展示了该方法的优越性，结果表明简单的基于扩散的条件方法可以取代复杂的基于相机管线的架构。

    Jul, 2023

  • 从频率视角生成 HDR 去鬼影内容

    通过实现在高度压缩的潜空间中的扩散模型，并将其整合到基于回归的模型中以增强重建图像的细节，提出了无幽灵的高动态范围（HDR）成像的低频感知扩散（LF-Diff）模型。在合成和真实世界基准数据集上进行的大量实验表明，我们的 LF-Diff 比几种最先进的方法表现出更好的性能，并且比基于扩散模型的先前方法快 10 倍。

    Apr, 2024

  • 基于上下文感知变换器的高动态范围成像

    提出了一种基于 CNN 和 Dual Transformer 的 hierarchical dual Transformer 方法（HDT-HDR）进行去除 LDR 图像中 ghosts 的 HDR 图像生成方法，该方法能够同时提取全局特征和局部特征，进行了大量实验验证其效果优于现有的 HDR ghost removal 方法。

    Apr, 2023

  • 基于像素和块级别的统一 HDR 成像方法

    使用深度神经网络、Transformer 等技术提出 HyHDRNet 网络，实现低动态范围图像转高动态范围图像的时空去影与融合，与同类算法相比，取得更优的定量和定性效果。

    Apr, 2023

  • 扩散促进的高动态范围视频重建

    提出了一种名为 HDR-V-Diff 的高动态范围（HDR）视频重建方法，结合扩散模型以实现 HDR 分布，通过 HDR Latent Diffusion Model（HDR-LDM）学习单个 HDR 帧的分布先验知识，通过 Temporal-Consistent Alignment Module（TCAM）学习时序信息，使用 Zero-Init Cross-Attention（ZiCA）机制整合先验分布和时序信息，从而生成具有真实细节的 HDR 帧。经过广泛实验证明，HDR-V-Diff 在多个代表性数据集上实现了最先进的结果。

    Jun, 2024

  • 曝光扩散：通过一致的低动态范围去噪生成高动态范围图像

    使用多个预训练的低动态范围 (LDR) 图像扩散模型的协同作用生成高动态范围 (HDR) 图像，并引入曝光一致性项将 LDR 图像融合，达到有效的 HDR 结果。

    May, 2024

  • 基于注意力引导的网络，用于无幽灵高动态范围成像

    提出了一种采用注意力模块引导合并 LDR 图像的高动态范围成像（AHDR）神经网络，此方法可避免光流估计误差引起的伪影问题，通过实验证明该方法能够在图像质量上达到最先进的水平。

    Apr, 2019

  • Deep Chain HDRI：从单幅低动态范围图像重建高动态范围图像

    本文提出了一种基于深度神经网络和卷积神经网络的新型算法来重建高动态范围图像，其方法相较于传统算法在可视化品质和峰值信噪比方面有较大幅度的提高。

    Jan, 2018

  • HDRTransDC：基于 Transformer 变形卷积的高动态范围图像重建

    通过融合多曝光低动态范围（LDR）图像生成无伪影、具有真实细节的高动态范围（HDR）图像是高动态范围成像的目标。为了解决相关问题，本文提出了一种高质量 HDR 图像生成的 HDR 转换变形卷积（HDRTransDC）网络，该网络包括 Transformer Deformable Convolution Alignment Module（TDCAM）和 Dynamic Weight Fusion Block（DWFB）。详细实验表明，我们的方法在定量和定性上都达到了最先进的性能。

    Mar, 2024

  • 使用具有掩蔽特征和感知损失的 CNN 进行单张图像 HDR 重建

    本研究提出了一种基于深度学习的方法来完善数字相机的图像，通过采用新颖的特征掩蔽机制和 VGG-based 感知丢失函数的采用，能够更好地还原实际场景中鲜艳颜色的图像。

    May, 2020