Mar, 2024

分割引导稀疏变换器用于底层显示摄像头图像修复

PDF
TL;DR在本文中，我们观察到在使用 Vision Transformer 进行 UDC 受损图像恢复时，全局注意机制会采样大量冗余信息和噪音。基于此发现，我们提出了一种基于分割引导的稀疏 Transformer 方法（SGSFormer），用于从 UDC 受损图像中恢复高质量图像。具体而言，我们利用稀疏自注意力过滤冗余信息和噪音，引导模型的注意力集中在需要重建的受损区域上。此外，我们还集成了实例分割图作为先验信息，以指导稀疏自注意力在过滤和关注正确区域方面的工作。
发现论文，激发创造
  • 用于屏下相机的深度视频修复

    基于 GAN 的生成流程模拟了 UDC 的退化过程，创建了名为 PexelsUDC 的大规模数据集，通过该数据集对现有的视频修复方法进行了广泛的基准研究，并提出了一种基于 transformer 的基线方法，该方法在 PexelsUDC 上取得了最先进的性能。

    Sep, 2023

  • 通过字典引导的变换器实现用于下屏摄像的盲目人脸修复

    通过在显示面板下隐藏前置摄像头，Under-Display Camera (UDC) 为用户提供了全屏体验。然而，由于显示的特性，UDC 拍摄的图像会受到明显的质量下降。提出了一种名为 UDC-DMNet 的双阶网络 UDC Degradation Model Network 来通过建模 UDC 成像过程来合成 UDC 图像。使用 UDC-DMNet 和来自 FFHQ 和 CelebA-Test 的高质量人脸图像创建了用于 UDC 人脸恢复的训练数据集 FFHQ-P/T 和测试数据集 CelebA-Test-P/T。提出了一种名为 DGFormer 的新型字典引导变换网络，引入了人脸组件字典和 UDC 图像的特征，使 DGFormer 能够应对 UDC 场景中的盲目人脸恢复。实验证明了我们的 DGFormer 和 UDC-DMNet 取得了最先进的性能。

    Aug, 2023

  • 透明显示摄像头图像恢复与散射效应

    在本研究中，我们通过将显示器视为一个均匀散射介质，明确地建模了散射效应，并改进了图像合成的图像形成流程。我们设计了一个两分支恢复网络，其中散射分支利用通道自注意力的全局建模能力从退化图像中估计散射效应的参数，而图像分支则利用 CNN 的局部表示优势恢复清晰场景，由散射分支隐式引导。实验结果表明，所提出的方法在真实数据和合成数据上均优于现有的 UDC 恢复技术。

    Aug, 2023

  • 用于屏幕下摄像头图像修复的深度孔蚀引导滤波器

    本文提出了一种两阶段的一体化方法 Deep Atrous Guided Filter (DAGF)，旨在校正 Under Display Cameras（UDC）系统中由于光衰减和衍射效应导致的图像失真问题，并通过模拟方案进行预训练模型并提高性能。该方法通过在低分辨率网络使用多个并行腐蚀卷积来保留空间分辨率，从而实现在兆像素图像上的直接训练，取得了较大的性能提升。在 RLQ-TOD'20 UDC Challenge 上，本方法在 POLED 和 TOLED 显示器中排名第二和第五。

    Aug, 2020

  • 基于循环网络的屏下摄像头视频修复中解耦退化

    该研究论文介绍了一种针对下屏摄像系统的视频恢复网络 D$^2$RNet，通过分离各种视频退化因素并利用长期和短期特征学习来处理相应的退化，实现了针对下屏摄像系统中各种类型退化的有针对性和有效性解决方案。通过大规模 UDC 视频基准测试的定量和定性评估，证明了 D$^2$RNet 相对于其他最先进的视频恢复和 UDC 图像恢复方法的优越性。

    Mar, 2024

  • 稀疏采样变换器在去雨滴和雨痕统一消除中的应用

    提出了一种基于不确定性驱动排序的稀疏采样变换器，称为 UDR-S2Former，用于学习和建模全局图像退化关系，从而实现复杂雨天场景的统一去雨。与先前方法相比，UDR-S2Former 具有三个优点：可自适应地采样相关图像退化信息以建模底层退化关系；明确应用基于不确定性驱动的排序策略有助于网络关注退化特征并理解重建过程；实验结果表明，UDR-S2Former 在所有基准测试中明显优于现有方法。

    Aug, 2023

  • 生成对齐的伪监督数据用于屏下摄像头图像修复

    本文提出了一种基于经典立体设置的 Under-Display Camera (UDC) 图像修复数据收集方法，并通过一种新颖的基于 Transformer 的框架，解决了由于透视和景深变化导致的空间错位和 UDC 图像与普通图像之间的巨大领域差异问题。实验证明，高质量且对齐的伪 UDC 训练对于训练生成性能强大的修复网络至关重要。

    Apr, 2023

  • 基于变换域金字塔扩张卷积网络的屏下摄像头图像恢复

    本文介绍了两种不同的神经网络方法，用于恢复基于 P-OLED 和 T-OLED 的 Under-Display Camera 拍摄图像，前者在 ECCV 2020 挑战中获胜，后者在比赛中获得第四名。

    Sep, 2020

  • 移动设备实时屏下摄像头图像恢复及 HDR

    本文提出一种针对在全面屏幕手机上拍摄失真的相机图像进行高效的深度学习修复的方法，并给出了在不同方法上的性能和运行时间的比较结果。该模型使用操作次数更少，具有竞争力，并且从效率和生产角度分析了实际单张图像修复问题。

    Nov, 2022

  • 面板下摄像头 图像修复

    本文介绍使用透明有机发光二极管（Transparent OLED）和手机彩色发光二极管（Pentile OLED）为背景的显示器下相机（UDC）进行图像复原的研究

    Mar, 2020