Feb, 2024

对抗净化与微调方法用于鲁棒的 UDC 图像恢复

PDF
TL;DR本研究探讨了增强屏下相机（UDC）图像恢复模型在对抗攻击下的鲁棒性，通过深度学习方法的评估和采用防御框架，包括扩散式对抗净化和进一步的微调，有效提高了图片恢复模型的弹性。
under-display cameraimage restorationadversarial attacksrobustness evaluationdefense framework
发现论文，激发创造
  • 用于屏下相机的深度视频修复

    基于 GAN 的生成流程模拟了 UDC 的退化过程，创建了名为 PexelsUDC 的大规模数据集，通过该数据集对现有的视频修复方法进行了广泛的基准研究，并提出了一种基于 transformer 的基线方法，该方法在 PexelsUDC 上取得了最先进的性能。

    Sep, 2023

  • 通过字典引导的变换器实现用于下屏摄像的盲目人脸修复

    通过在显示面板下隐藏前置摄像头，Under-Display Camera (UDC) 为用户提供了全屏体验。然而，由于显示的特性，UDC 拍摄的图像会受到明显的质量下降。提出了一种名为 UDC-DMNet 的双阶网络 UDC Degradation Model Network 来通过建模 UDC 成像过程来合成 UDC 图像。使用 UDC-DMNet 和来自 FFHQ 和 CelebA-Test 的高质量人脸图像创建了用于 UDC 人脸恢复的训练数据集 FFHQ-P/T 和测试数据集 CelebA-Test-P/T。提出了一种名为 DGFormer 的新型字典引导变换网络，引入了人脸组件字典和 UDC 图像的特征，使 DGFormer 能够应对 UDC 场景中的盲目人脸恢复。实验证明了我们的 DGFormer 和 UDC-DMNet 取得了最先进的性能。

    Aug, 2023

  • 移动设备实时屏下摄像头图像恢复及 HDR

    本文提出一种针对在全面屏幕手机上拍摄失真的相机图像进行高效的深度学习修复的方法，并给出了在不同方法上的性能和运行时间的比较结果。该模型使用操作次数更少，具有竞争力，并且从效率和生产角度分析了实际单张图像修复问题。

    Nov, 2022

  • 基于变换域金字塔扩张卷积网络的屏下摄像头图像恢复

    本文介绍了两种不同的神经网络方法，用于恢复基于 P-OLED 和 T-OLED 的 Under-Display Camera 拍摄图像，前者在 ECCV 2020 挑战中获胜，后者在比赛中获得第四名。

    Sep, 2020

  • 基于循环网络的屏下摄像头视频修复中解耦退化

    该研究论文介绍了一种针对下屏摄像系统的视频恢复网络 D$^2$RNet，通过分离各种视频退化因素并利用长期和短期特征学习来处理相应的退化，实现了针对下屏摄像系统中各种类型退化的有针对性和有效性解决方案。通过大规模 UDC 视频基准测试的定量和定性评估，证明了 D$^2$RNet 相对于其他最先进的视频恢复和 UDC 图像恢复方法的优越性。

    Mar, 2024

  • 面板下摄像头 图像修复

    本文介绍使用透明有机发光二极管（Transparent OLED）和手机彩色发光二极管（Pentile OLED）为背景的显示器下相机（UDC）进行图像复原的研究

    Mar, 2020

  • 透明显示摄像头图像恢复与散射效应

    在本研究中，我们通过将显示器视为一个均匀散射介质，明确地建模了散射效应，并改进了图像合成的图像形成流程。我们设计了一个两分支恢复网络，其中散射分支利用通道自注意力的全局建模能力从退化图像中估计散射效应的参数，而图像分支则利用 CNN 的局部表示优势恢复清晰场景，由散射分支隐式引导。实验结果表明，所提出的方法在真实数据和合成数据上均优于现有的 UDC 恢复技术。

    Aug, 2023

  • UDC 2020 显示屏下摄像头图像修复比赛：方法与结果

    该论文介绍了在 ECCV 2020 RLQ 研讨会上，第一次针对 Under-Display Camera 图像修复挑战的报告。挑战基于新收集的数据库，并包含两种类型的显示屏。近 150 个团队注册了挑战，每个轨道的测试阶段分别有八个和九个团队提交了结果。该论文的结果是目前 Under-Display Camera 修复的最先进表现。该文章和数据集可以在此 https URL 上找到。

    Aug, 2020

  • 图像超分辨率作为对抗攻击的防御

    本文提出了一个有效的图像增强方法，通过深度图像恢复网络来将离散的对抗噪声样本转换回自然图像流形，从而提高对抗性的鲁棒性，同时提高图像质量和保持干净图像上的性能表现。

    Jan, 2019

  • 改进糖尿病视网膜病变检测的通用对抗性框架

    通过使用通用对抗扰动来评估医学深度神经网络对糖尿病视网膜病变（DR）的检测的脆弱性，并使用通用对抗扰动对已训练模型进行微调以抵御对抗样本，提升了平均 3.41 Cohen-kappa 值和最大 31.92 Cohen-kappa 值的性能。

    Dec, 2023