ECCVAug, 2020

用于屏幕下摄像头图像修复的深度孔蚀引导滤波器

PDF
TL;DR本文提出了一种两阶段的一体化方法 Deep Atrous Guided Filter (DAGF)，旨在校正 Under Display Cameras（UDC）系统中由于光衰减和衍射效应导致的图像失真问题，并通过模拟方案进行预训练模型并提高性能。该方法通过在低分辨率网络使用多个并行腐蚀卷积来保留空间分辨率，从而实现在兆像素图像上的直接训练，取得了较大的性能提升。在 RLQ-TOD'20 UDC Challenge 上，本方法在 POLED 和 TOLED 显示器中排名第二和第五。
under display camerassemi-transparent oled screensdeep atrous guided filterimage restorationudc systems
发现论文，激发创造
  • 通过字典引导的变换器实现用于下屏摄像的盲目人脸修复

    通过在显示面板下隐藏前置摄像头，Under-Display Camera (UDC) 为用户提供了全屏体验。然而，由于显示的特性，UDC 拍摄的图像会受到明显的质量下降。提出了一种名为 UDC-DMNet 的双阶网络 UDC Degradation Model Network 来通过建模 UDC 成像过程来合成 UDC 图像。使用 UDC-DMNet 和来自 FFHQ 和 CelebA-Test 的高质量人脸图像创建了用于 UDC 人脸恢复的训练数据集 FFHQ-P/T 和测试数据集 CelebA-Test-P/T。提出了一种名为 DGFormer 的新型字典引导变换网络，引入了人脸组件字典和 UDC 图像的特征，使 DGFormer 能够应对 UDC 场景中的盲目人脸恢复。实验证明了我们的 DGFormer 和 UDC-DMNet 取得了最先进的性能。

    Aug, 2023

  • 面板下摄像头 图像修复

    本文介绍使用透明有机发光二极管（Transparent OLED）和手机彩色发光二极管（Pentile OLED）为背景的显示器下相机（UDC）进行图像复原的研究

    Mar, 2020

  • 分割引导稀疏变换器用于底层显示摄像头图像修复

    在本文中，我们观察到在使用 Vision Transformer 进行 UDC 受损图像恢复时，全局注意机制会采样大量冗余信息和噪音。基于此发现，我们提出了一种基于分割引导的稀疏 Transformer 方法（SGSFormer），用于从 UDC 受损图像中恢复高质量图像。具体而言，我们利用稀疏自注意力过滤冗余信息和噪音，引导模型的注意力集中在需要重建的受损区域上。此外，我们还集成了实例分割图作为先验信息，以指导稀疏自注意力在过滤和关注正确区域方面的工作。

    Mar, 2024

  • 基于变换域金字塔扩张卷积网络的屏下摄像头图像恢复

    本文介绍了两种不同的神经网络方法，用于恢复基于 P-OLED 和 T-OLED 的 Under-Display Camera 拍摄图像，前者在 ECCV 2020 挑战中获胜，后者在比赛中获得第四名。

    Sep, 2020

  • 移动设备实时屏下摄像头图像恢复及 HDR

    本文提出一种针对在全面屏幕手机上拍摄失真的相机图像进行高效的深度学习修复的方法，并给出了在不同方法上的性能和运行时间的比较结果。该模型使用操作次数更少，具有竞争力，并且从效率和生产角度分析了实际单张图像修复问题。

    Nov, 2022

  • 基于循环网络的屏下摄像头视频修复中解耦退化

    该研究论文介绍了一种针对下屏摄像系统的视频恢复网络 D$^2$RNet，通过分离各种视频退化因素并利用长期和短期特征学习来处理相应的退化，实现了针对下屏摄像系统中各种类型退化的有针对性和有效性解决方案。通过大规模 UDC 视频基准测试的定量和定性评估，证明了 D$^2$RNet 相对于其他最先进的视频恢复和 UDC 图像恢复方法的优越性。

    Mar, 2024

  • 通过动态跳跃连接网络消除屏下摄像头中的衍射图像伪迹

    本文旨在研究解决 Under-Display Camera 系统中由于半透明有机发光二极管像素阵列所引起的图像质量降低问题。通过定义基于物理的图像形成模型来帮助理解图像降低的机制。同时，提出了域知识启发的动态跳跃连接网络（DISCNet）以恢复 UDC 图像，并通过合成和真实的 UDC 数据进行了大量实验证明其有效性。

    Apr, 2021

  • 快速的端到端可训练引导滤波器

    本文介绍了一种基于改进 FCN 的新型构建块 —— 引导滤波层，以及结合该层的像素级别图像预测框架 DGF，并在该框架上取得了比现有方法具有更快速度和更高性能的结果。

    Mar, 2018

  • 透明显示摄像头图像恢复与散射效应

    在本研究中，我们通过将显示器视为一个均匀散射介质，明确地建模了散射效应，并改进了图像合成的图像形成流程。我们设计了一个两分支恢复网络，其中散射分支利用通道自注意力的全局建模能力从退化图像中估计散射效应的参数，而图像分支则利用 CNN 的局部表示优势恢复清晰场景，由散射分支隐式引导。实验结果表明，所提出的方法在真实数据和合成数据上均优于现有的 UDC 恢复技术。

    Aug, 2023

  • 对抗净化与微调方法用于鲁棒的 UDC 图像恢复

    本研究探讨了增强屏下相机（UDC）图像恢复模型在对抗攻击下的鲁棒性，通过深度学习方法的评估和采用防御框架，包括扩散式对抗净化和进一步的微调，有效提高了图片恢复模型的弹性。

    Feb, 2024