Feb, 2024

LRDif：面板式摄像头情绪识别的扩散模型

PDF
TL;DR本研究引入了 LRDif，这是一个专为嵌入式显示相机（UDC）中的人脸表情识别（FER）而设计的新型扩散框架。LRDif 通过应用深度模型的鲁棒分布映射能力和变形器的空间依赖建模能力，以有效地识别 UDC 图像中的情绪标签，解决了 UDC 环境中噪声和畸变的困扰，并在包括 RAF-DB，KDEF 和 FERPlus 在内的标准 FER 数据集上展示了最先进的性能，突显了其在推动 FER 应用方面的潜力。这项工作不仅解决了 FER 领域中 UDC 挑战的重大差距，而且为未来的研究设定了新的基准。
发现论文，激发创造
  • 从频率视角生成 HDR 去鬼影内容

    通过实现在高度压缩的潜空间中的扩散模型，并将其整合到基于回归的模型中以增强重建图像的细节，提出了无幽灵的高动态范围（HDR）成像的低频感知扩散（LF-Diff）模型。在合成和真实世界基准数据集上进行的大量实验表明，我们的 LF-Diff 比几种最先进的方法表现出更好的性能，并且比基于扩散模型的先前方法快 10 倍。

    Apr, 2024

  • FitDiff：使用扩散模型进行鲁棒的单目 3D 面部形状和反射估计

    在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。

    Dec, 2023

  • 通过字典引导的变换器实现用于下屏摄像的盲目人脸修复

    通过在显示面板下隐藏前置摄像头，Under-Display Camera (UDC) 为用户提供了全屏体验。然而，由于显示的特性，UDC 拍摄的图像会受到明显的质量下降。提出了一种名为 UDC-DMNet 的双阶网络 UDC Degradation Model Network 来通过建模 UDC 成像过程来合成 UDC 图像。使用 UDC-DMNet 和来自 FFHQ 和 CelebA-Test 的高质量人脸图像创建了用于 UDC 人脸恢复的训练数据集 FFHQ-P/T 和测试数据集 CelebA-Test-P/T。提出了一种名为 DGFormer 的新型字典引导变换网络，引入了人脸组件字典和 UDC 图像的特征，使 DGFormer 能够应对 UDC 场景中的盲目人脸恢复。实验证明了我们的 DGFormer 和 UDC-DMNet 取得了最先进的性能。

    Aug, 2023

  • 无监督利用三维感知潜在扩散模型对面部特征进行解耦

    本文提出了一种新颖的无监督解缠面部表情和身份表示的框架 ——LatentFace，并使用 3D 感知的潜入模型来解决这一问题。该方法在面部表情识别和面部验证等无监督面部表示学习模型中取得了最先进的性能。

    Sep, 2023

  • Ada-DF: 一种适应性标签分布融合网络用于面部表情识别

    通过标签分布学习范例和双分支的自适应分布融合框架，以应对日常生活中面部表情识别（FER）任务中数据集中的注释模糊性，并通过辅助分支获得样本的标签分布，计算每种情绪的类别分布，然后根据注意权重自适应地融合这两个分布来训练目标分支，在 RAF-DB、AffectNet 和 SFEW 三个真实世界数据集上进行的大量实验证明了我们的 Ada-DF 相对于最先进的工作的优势。

    Apr, 2024

  • 单图低动态范围（LDR）到高动态范围（HDR）转换的条件扩散

    该研究论文提出了一种基于深度学习的方法，用于从阴影和高光中恢复复杂细节以及重建高动态范围图像，通过图像到图像转换任务，提出了一种基于条件性去噪扩散概率模型（DDPM）的框架，并在该框架中结合了深度卷积神经网络（CNN）的自编码器来提高用于条件化的输入 LDR 图像的潜在表征质量，此外引入了一种新的损失函数来改善 LDR-HDR 转换任务的结果质量。通过全面的定量和定性实验，有效地展示了该方法的优越性，结果表明简单的基于扩散的条件方法可以取代复杂的基于相机管线的架构。

    Jul, 2023

  • MMA-DFER: 适应多模态单模型的野外动态面部表情识别

    探讨使用自我监督学习方法进行多模态动态面部表情识别的研究，并提出了解决该任务中的主要挑战以及相应解决方案，最终在 DFEW 和 MFAW 两个常用的动态面部表情识别基准数据集上实现了超过当前最先进方法的改进。

    Apr, 2024

  • DrFER：学习面部表情三维识别的解耦表示

    创新的 DrFER 方法在 3D 人脸领域引入了概念上的解缠表示学习方法，通过使用双分支框架，有效地将表情信息与身份信息解耦，并通过重新配置损失函数和网络结构适应于点云数据，从而提高了框架在识别面部表情方面的能力，即使在涉及不同头部姿势的情况下，经过对 BU-3DFE 和 Bosphorus 数据集进行的广泛评估表明，DrFER 超过了其他 3D FER 方法的性能。

    Mar, 2024

  • DiFaReli: 扩散人脸照明

    我们提出了一种新的方法来进行野外单视图人脸重照。我们使用条件扩散隐式模型 (DDIM) 解码一个解离的光编码与 3D 形状和面部身份相关的其他编码，以达到最先进的性能，能够在标准基准数据集 Multi-PIE 上进行光照效果的真实再现。

    Apr, 2023

  • 面部表情识别的动态分辨率指导

    本文介绍了一种名为动态分辨率引导面部表情识别（DRGFER）的实用方法，该方法能够在分辨率不同的图像中有效地识别面部表情，而不会影响面部表情识别模型的准确性。该方法包括两个主要组成部分：分辨率识别网络（RRN）和多分辨率适应面部表情识别网络（MRAFER）。RRN 确定图像分辨率，输出一个二进制向量，而 MRAFER 根据分辨率将图像分配给适合的面部表情识别网络。我们在广泛使用的 RAFDB 和 FERPlus 数据集上评估了 DRGFER，结果显示我们的方法在每个分辨率上保持了最佳模型性能，并且优于其他分辨率方法。所提出的框架对分辨率变化和面部表情具有鲁棒性，为实际应用提供了有前途的解决方案。

    Apr, 2024