用于屏下相机的深度视频修复
该研究论文介绍了一种针对下屏摄像系统的视频恢复网络 D$^2$RNet,通过分离各种视频退化因素并利用长期和短期特征学习来处理相应的退化,实现了针对下屏摄像系统中各种类型退化的有针对性和有效性解决方案。通过大规模 UDC 视频基准测试的定量和定性评估,证明了 D$^2$RNet 相对于其他最先进的视频恢复和 UDC 图像恢复方法的优越性。
Mar, 2024
通过在显示面板下隐藏前置摄像头,Under-Display Camera (UDC) 为用户提供了全屏体验。然而,由于显示的特性,UDC 拍摄的图像会受到明显的质量下降。提出了一种名为 UDC-DMNet 的双阶网络 UDC Degradation Model Network 来通过建模 UDC 成像过程来合成 UDC 图像。使用 UDC-DMNet 和来自 FFHQ 和 CelebA-Test 的高质量人脸图像创建了用于 UDC 人脸恢复的训练数据集 FFHQ-P/T 和测试数据集 CelebA-Test-P/T。提出了一种名为 DGFormer 的新型字典引导变换网络,引入了人脸组件字典和 UDC 图像的特征,使 DGFormer 能够应对 UDC 场景中的盲目人脸恢复。实验证明了我们的 DGFormer 和 UDC-DMNet 取得了最先进的性能。
Aug, 2023
在本文中,我们观察到在使用 Vision Transformer 进行 UDC 受损图像恢复时,全局注意机制会采样大量冗余信息和噪音。基于此发现,我们提出了一种基于分割引导的稀疏 Transformer 方法(SGSFormer),用于从 UDC 受损图像中恢复高质量图像。具体而言,我们利用稀疏自注意力过滤冗余信息和噪音,引导模型的注意力集中在需要重建的受损区域上。此外,我们还集成了实例分割图作为先验信息,以指导稀疏自注意力在过滤和关注正确区域方面的工作。
Mar, 2024
本研究探讨了增强屏下相机(UDC)图像恢复模型在对抗攻击下的鲁棒性,通过深度学习方法的评估和采用防御框架,包括扩散式对抗净化和进一步的微调,有效提高了图片恢复模型的弹性。
Feb, 2024
本文提出了一种基于经典立体设置的 Under-Display Camera (UDC) 图像修复数据收集方法,并通过一种新颖的基于 Transformer 的框架,解决了由于透视和景深变化导致的空间错位和 UDC 图像与普通图像之间的巨大领域差异问题。实验证明,高质量且对齐的伪 UDC 训练对于训练生成性能强大的修复网络至关重要。
Apr, 2023
本文提出一种针对在全面屏幕手机上拍摄失真的相机图像进行高效的深度学习修复的方法,并给出了在不同方法上的性能和运行时间的比较结果。该模型使用操作次数更少,具有竞争力,并且从效率和生产角度分析了实际单张图像修复问题。
Nov, 2022
本文介绍使用透明有机发光二极管(Transparent OLED)和手机彩色发光二极管(Pentile OLED)为背景的显示器下相机(UDC)进行图像复原的研究
Mar, 2020
在本研究中,我们通过将显示器视为一个均匀散射介质,明确地建模了散射效应,并改进了图像合成的图像形成流程。我们设计了一个两分支恢复网络,其中散射分支利用通道自注意力的全局建模能力从退化图像中估计散射效应的参数,而图像分支则利用 CNN 的局部表示优势恢复清晰场景,由散射分支隐式引导。实验结果表明,所提出的方法在真实数据和合成数据上均优于现有的 UDC 恢复技术。
Aug, 2023
本文介绍了两种不同的神经网络方法,用于恢复基于 P-OLED 和 T-OLED 的 Under-Display Camera 拍摄图像,前者在 ECCV 2020 挑战中获胜,后者在比赛中获得第四名。
Sep, 2020
该论文介绍了在 ECCV 2020 RLQ 研讨会上,第一次针对 Under-Display Camera 图像修复挑战的报告。挑战基于新收集的数据库,并包含两种类型的显示屏。近 150 个团队注册了挑战,每个轨道的测试阶段分别有八个和九个团队提交了结果。该论文的结果是目前 Under-Display Camera 修复的最先进表现。该文章和数据集可以在此 https URL 上找到。
Aug, 2020