ECCVAug, 2022

有上下文感知的 Transformer 技术的无鬼影高动态范围成像

PDF
TL;DR本研究提出一种双分支的 CA-ViT 方法，通过全局支路来捕捉拍摄对象的长距离移动和渐变，局部支路使用通道注意力机制来捕捉具有信息意义的局部细节，从而实现生成真实细节的无幽灵高动态范围成像。实验结果表明，该方法在质量和计算成本上均优于最先进的方法。
high dynamic rangehdrghost-free imagingcontext-aware vision transformercnn-based methods
发现论文，激发创造
  • 基于上下文感知变换器的高动态范围成像

    提出了一种基于 CNN 和 Dual Transformer 的 hierarchical dual Transformer 方法（HDT-HDR）进行去除 LDR 图像中 ghosts 的 HDR 图像生成方法，该方法能够同时提取全局特征和局部特征，进行了大量实验验证其效果优于现有的 HDR ghost removal 方法。

    Apr, 2023

  • 非对齐高动态范围去鬼影的语义一致 Transformer 方法

    本研究提出了一个新颖的基于 Semantics ConsistentTransformer（SCTNet）的无对齐网络，其中包括空间和通道注意力模块。 我们还介绍了一个新的逼真 HDR 数据集，与传统数据集相比获得了更好的性能和计算成本的权衡。

    May, 2023

  • HDRTransDC：基于 Transformer 变形卷积的高动态范围图像重建

    通过融合多曝光低动态范围（LDR）图像生成无伪影、具有真实细节的高动态范围（HDR）图像是高动态范围成像的目标。为了解决相关问题，本文提出了一种高质量 HDR 图像生成的 HDR 转换变形卷积（HDRTransDC）网络，该网络包括 Transformer Deformable Convolution Alignment Module（TDCAM）和 Dynamic Weight Fusion Block（DWFB）。详细实验表明，我们的方法在定量和定性上都达到了最先进的性能。

    Mar, 2024

  • 基于像素和块级别的统一 HDR 成像方法

    使用深度神经网络、Transformer 等技术提出 HyHDRNet 网络，实现低动态范围图像转高动态范围图像的时空去影与融合，与同类算法相比，取得更优的定量和定性效果。

    Apr, 2023

  • 基于注意力引导的网络，用于无幽灵高动态范围成像

    提出了一种采用注意力模块引导合并 LDR 图像的高动态范围成像（AHDR）神经网络，此方法可避免光流估计误差引起的伪影问题，通过实验证明该方法能够在图像质量上达到最先进的水平。

    Apr, 2019

  • IFT: 无幽灵的高动态范围图像融合变压器

    提出了一种名为 IFT 的新型图像融合变换器，通过快速全局补丁搜索（FGPS）模块和自交叉融合（SCF）模块，在捕获具有大动态范围的动态场景中长程依赖性的同时，消除了幽灵伪影，实现了高动态范围（HDR）成像。

    Sep, 2023

  • 基于条件扩散模型的高质量 HDR 去鬼影

    从低动态范围（LDR）图像中恢复高动态范围（HDR）图像是通过现有的深度神经网络（DNN）技术实现的。但是，基于 DNN 的方法在 LDR 图像存在饱和度和大动作时仍然会生成虚影伪影，这限制了其在真实世界场景中的应用潜力。为了解决这个挑战，我们将 HDR 去伪影问题转化为基于图像生成的问题，利用 LDR 特征作为扩散模型的条件，包括特征条件生成器和噪声预测器。特征条件生成器利用注意力和域特征对齐（DFA）层来转换中间特征，以避免虚影伪影。通过学习得到的特征作为条件，噪声预测器利用随机迭代去噪过程来通过控制采样过程生成 HDR 图像。此外，为了减轻 LDR 图像饱和问题引起的语义混淆，我们设计了一个滑动窗口噪声估计器，以块为单位进行平滑噪声采样。另外，提出了一个图像空间损失来避免估计的 HDR 结果的色彩失真。我们通过在 HDR 成像的基准数据集上进行实证评估，结果表明我们的方法在性能上达到了最先进水平，并且对真实世界图像具有良好的泛化能力。

    Nov, 2023

  • 具有大型前景运动的深度高动态范围成像

    该研究提出了一种用于高动态范围成像的非基于流的深度框架，其中将 HDR 成像作为一种图像翻译问题，提出了一种新的算法，从而减少光学流错位、理光、动态物体和一些曝光问题带来的挑战，并与现有算法相比取得了卓越的结果。

    Nov, 2017

  • 高动态范围成像技术在饱和补偿下对动态场景的应用

    本文提出了一种新方法，通过将运动对准问题重新制定为简单的亮度调整问题来生成对齐的多曝光特征，并采用粗糙到精细的合并策略和显式饱和度补偿来恢复饱和区域，其中使用自适应的上下文关注重建饱和区域，实验证明我们的方法在定性和定量评估方面优于现有的最先进方法。

    Aug, 2023

  • 视觉 Transformer: 从语义分割到密集预测

    本研究首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，编码图像作为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，提出的分割转换器（SETR）在 ADE20K 和 Pascal Context 数据集上取得了出色表现，同时提出了一系列分层本地 - 全局转换器，架构由局部关注（在窗口内）和全局关注（跨窗口）构成，对于各种密集预测任务具有吸引人的性能

    Jul, 2022