Dec, 2023

超图引导的去耦频谱变换网络用于近红外面部表情识别

PDF
TL;DR本文首次尝试深度近红外 (NIR) 面部表情识别，提出了一种名为近红外面部表情转换器 (NFER-Former) 的新方法。通过引入自注意力正交分解机制和超图引导特征嵌入方法，可以在缺失可见光信息的情况下提取表情特征，并构建大型 NIR-VIS 面部表情数据集来验证 NFER-Former 的效率。通过广泛的实验和剔除研究，证明 NFER-Former 明显改善了 NIR 面部表情识别性能，并在 Oulu-CASIA 和 Large-HFE 这两个唯一可用的 NIR 面部表情识别数据集上取得了最新的成果。
facial expression recognitionnear-infrarednfer-formerself-attention orthogonal decompositionhypergraph-guided feature embedding
发现论文，激发创造
  • 多能量指导的带随机微分方程的近红外面部表情识别图像翻译

    通过 NIR-FER 随机微分方程方法，克服了面部表情在照明变化和可见光条件下的识别难题，解决了可见光附加几何和纹理详细信息的不足问题，并在两个现有的 NIR FER 数据集 Oulu-CASIA 和 Large-HFE 上取得了最先进的结果。

    Dec, 2023

  • 跨光谱幻化与低秩嵌入的 NIR-VIS 人脸识别

    本文提出了一种将视觉光谱中深度学习用于人脸识别扩展到近红外光谱的方法，其核心组件为跨光谱幻觉和低秩嵌入，可实现近红外光谱人脸图像的识别，并在 CASIA NIR-VIS v2.0 基准测试中取得了最先进的准确性。

    Nov, 2016

  • 异构人脸识别的解耦变分表示

    本文提出了一种利用 Disentangled Variational Representation (DVR) 进行 NIR 和 VIS 模态匹配的方法，在生成具有内在身份信息和内部变化的脸部表示的基础上，通过探索解缠绕潜变量空间，使用变分下界对 NIR 和 VIS 表示进行优化，取得了较大的改进。

    Sep, 2018

  • 深度面部表情识别研究综述

    深度神经网络在面部表情识别中的应用、数据集和算法，针对过拟合和灯光、头部姿态等问题，分析和总结静态和动态图像序列的最新模型和性能，并探讨未来的发展方向和挑战。

    Apr, 2018

  • 利用深度神经网络深入进行面部表情识别

    提出了一种深度神经网络构架，可在多个公共面部数据库上进行面部表情识别，并且在精度和训练时间上优于传统卷积神经网络和现有方法。

    Nov, 2015

  • 迈向近红外 - 可见光蒙面人脸识别

    本论文提出一种新的异构培训方法和 3D 面部重建方法，用于最大化两个域的面部表示共享的相互信息，从而提供领域不变的面部表示，并且具有掩蔽的稳健性。

    Apr, 2021

  • 用金字塔交叉融合的 Transformer 网络进行面部表情识别

    本文提出了一个名为 POSTER 的 Pyramid Cross-fusion Transformer 网络，通过 transformer-based cross-fusion paradigm 解决 Facial Expression Recognition 中的 inter-class similarity、intra-class discrepancy 和 scale sensitivity 问题，并且采用金字塔结构实现了尺度不变性，在 RAF-DB、FERPlus 和 AffectNet 测试集上均取得了优于 SOTA 的结果。

    Apr, 2022

  • DrFER：学习面部表情三维识别的解耦表示

    创新的 DrFER 方法在 3D 人脸领域引入了概念上的解缠表示学习方法，通过使用双分支框架，有效地将表情信息与身份信息解耦，并通过重新配置损失函数和网络结构适应于点云数据，从而提高了框架在识别面部表情方面的能力，即使在涉及不同头部姿势的情况下，经过对 BU-3DFE 和 Bosphorus 数据集进行的广泛评估表明，DrFER 超过了其他 3D FER 方法的性能。

    Mar, 2024

  • 通过分离独立因素进行跨光谱人脸超精细化

    本研究提出一种姿态对齐的跨光谱幻觉方法，通过生成方法对准红外和可见光人脸图像，再使用一种纹理融合模块进行光谱转换，从而实现异构人脸识别。在三个具有挑战性的数据集上进行实验，验证了该方法在视觉和性能方面的有效性。

    Sep, 2019

  • 一种基于轻量级 Transformer 的异构图像的自监督匹配网络

    提出一种新的关键点描述方法，通过自监督匹配网络获取稳健的特征描述子。设计了一种轻量级变换网络 LTFormer 生成深层特征描述子，并通过创新的三元组损失函数 LT Loss 进一步提高匹配性能，相比手工设计的本地特征描述子表现更好，即使数据有限，也与最先进的基于深度学习的方法相媲美。

    Apr, 2024