CVPRApr, 2023

生成对齐的伪监督数据用于屏下摄像头图像修复

PDF
TL;DR本文提出了一种基于经典立体设置的 Under-Display Camera (UDC) 图像修复数据收集方法，并通过一种新颖的基于 Transformer 的框架，解决了由于透视和景深变化导致的空间错位和 UDC 图像与普通图像之间的巨大领域差异问题。实验证明，高质量且对齐的伪 UDC 训练对于训练生成性能强大的修复网络至关重要。
under-display cameraimage restorationstereo setuptransformer-based frameworkdomain discrepancy
发现论文，激发创造
  • 用于屏下相机的深度视频修复

    基于 GAN 的生成流程模拟了 UDC 的退化过程，创建了名为 PexelsUDC 的大规模数据集，通过该数据集对现有的视频修复方法进行了广泛的基准研究，并提出了一种基于 transformer 的基线方法，该方法在 PexelsUDC 上取得了最先进的性能。

    Sep, 2023

  • 通过字典引导的变换器实现用于下屏摄像的盲目人脸修复

    通过在显示面板下隐藏前置摄像头，Under-Display Camera (UDC) 为用户提供了全屏体验。然而，由于显示的特性，UDC 拍摄的图像会受到明显的质量下降。提出了一种名为 UDC-DMNet 的双阶网络 UDC Degradation Model Network 来通过建模 UDC 成像过程来合成 UDC 图像。使用 UDC-DMNet 和来自 FFHQ 和 CelebA-Test 的高质量人脸图像创建了用于 UDC 人脸恢复的训练数据集 FFHQ-P/T 和测试数据集 CelebA-Test-P/T。提出了一种名为 DGFormer 的新型字典引导变换网络，引入了人脸组件字典和 UDC 图像的特征，使 DGFormer 能够应对 UDC 场景中的盲目人脸恢复。实验证明了我们的 DGFormer 和 UDC-DMNet 取得了最先进的性能。

    Aug, 2023

  • 分割引导稀疏变换器用于底层显示摄像头图像修复

    在本文中，我们观察到在使用 Vision Transformer 进行 UDC 受损图像恢复时，全局注意机制会采样大量冗余信息和噪音。基于此发现，我们提出了一种基于分割引导的稀疏 Transformer 方法（SGSFormer），用于从 UDC 受损图像中恢复高质量图像。具体而言，我们利用稀疏自注意力过滤冗余信息和噪音，引导模型的注意力集中在需要重建的受损区域上。此外，我们还集成了实例分割图作为先验信息，以指导稀疏自注意力在过滤和关注正确区域方面的工作。

    Mar, 2024

  • 基于变换域金字塔扩张卷积网络的屏下摄像头图像恢复

    本文介绍了两种不同的神经网络方法，用于恢复基于 P-OLED 和 T-OLED 的 Under-Display Camera 拍摄图像，前者在 ECCV 2020 挑战中获胜，后者在比赛中获得第四名。

    Sep, 2020

  • 几何无监督域自适应语义分割

    该论文提出了使用自监督单目深度估计作为代理任务来解决模拟数据和真实数据之间的差异，以提高半监督领域自适应的性能，结果表明这种方法在语义分割领域的无监督域自适应上具有较好的性能。

    Mar, 2021

  • SIDAR: 用于对齐与修复的合成图像数据集

    该研究提出了一种使用 3D 渲染的数据增强方法，以产生更接近于实际世界情境的图像失真。这种数据增强方法可用于训练和评估图像对齐和伪影去除等多种任务，并且可应用于任何现有的数据集以改进任何现有方法的特征学习能力。

    May, 2023

  • 基于循环网络的屏下摄像头视频修复中解耦退化

    该研究论文介绍了一种针对下屏摄像系统的视频恢复网络 D$^2$RNet，通过分离各种视频退化因素并利用长期和短期特征学习来处理相应的退化，实现了针对下屏摄像系统中各种类型退化的有针对性和有效性解决方案。通过大规模 UDC 视频基准测试的定量和定性评估，证明了 D$^2$RNet 相对于其他最先进的视频恢复和 UDC 图像恢复方法的优越性。

    Mar, 2024

  • 对抗净化与微调方法用于鲁棒的 UDC 图像恢复

    本研究探讨了增强屏下相机（UDC）图像恢复模型在对抗攻击下的鲁棒性，通过深度学习方法的评估和采用防御框架，包括扩散式对抗净化和进一步的微调，有效提高了图片恢复模型的弹性。

    Feb, 2024

  • 粗到精的域自适应语义分割：光度对齐和类别中心正则化

    本研究提出了一种新的无监督域自适应方法，通过粗、细两个阶段中的影像级对齐和类别级别特征分布规则化来统一解决影像级别和类别级别导致的域差异问题，其中概念中的 “类别级别特征分布” 指的是使用三元组损失限制源域的类别中心和自监督一致性规则化目标域，实验证明本研究所提出的方法提高了分割模型的泛化能力并显著优于之前的方法。

    Mar, 2021

  • 从邻域出发：面向全景语义分割的畸变感知无监督领域自适应

    通过无监督领域自适应方法，本文提出了一种针对全景语义分割中的畸变问题的新型方法，通过捕捉邻近像素的分布和使用记忆库来优化特征表示，从而显著提高性能并减少参数。

    Aug, 2023