May, 2024

AUGlasses：使用低功耗 IMU 在智能眼镜上基于持续动作单元的面部重构

PDF
TL;DR智能眼镜的增强现实技术提供了多种传感器的使用，用于面部重建，通过在脸部的颞部放置惯性测量单元（IMU）来捕捉面部肌肉运动引起的皮肤变形，使用基于变压器的深度学习模型实时估计行为单位（AU）的强度，进而进行面部重建。
augmented realitysmart glassesfacial reconstructioninertial measurement unitstransformer-based deep learning model
发现论文，激发创造
  • 自监督表示下的面部动作单元检测和强度估计

    本研究介绍了一种使用自监督学习方法的面部表情识别模型 MAE-Face，该模型在只 Fine-tune 1% 的数据集的情况下也可以取得较好的 AU 检测和 AU 强度估计结果.

    Oct, 2022

  • MeciFace: 基于机械肌电和惯性融合技术的眼镜边缘实时识别面部和进食活动

    MeciFace 是一款低功耗、隐私保护的实时可穿戴设备，使用卷积神经网络监测面部表情和进食活动，能够实时监控面部表情和饮食，且在测试中取得了良好的效果。

    Jun, 2023

  • IMUSIC: 基于 IMU 的面部表情捕捉

    本文提出了一种基于惯性测量单元 (IMU) 的面部表情捕捉方法 IMUSIC，通过 IMU 信号实现面部表情的准确捕捉和分析，并保护用户的隐私。

    Feb, 2024

  • AUFormer：视觉 Transformer 是参数高效的面部动作单元检测器

    基于面部动作单元（AU）的参数高效迁移学习方法，引入 AUFormer 和 MoKE 协同机制，以实现参数高效的 AU 检测，并设计了一种 MDWA-Loss 以更好地关注激活的 AU、区分未激活 AU 的难度并排除潜在标签错误样本。实验证明 AUFormer 具有最先进的性能和强大的泛化能力，无需依赖其他相关数据。

    Mar, 2024

  • 面部动作单元识别的深层结构推理网络

    本文提出了一种基于深度神经网络的面部表情识别算法，通过学习局部和全局特征，以及类似于图推理方法的消息传递算法，显著提高了在 BP4D 和 DISFA 数据集上的表现。

    Mar, 2018

  • 面部动作单元识别的因果干预去除主体混淆

    本文提出了一种因果推理框架，用于主体不变的面部动作单元（AU）识别，通过结构因果模型表达面部图像、主体、潜在 AU 语义关系和估计的 AU 出现概率之间的因果关系，采用插件因果干预模块（CIS）插入因果图，以消除干扰因素 Subject，实验结果表明 CISNet 可以达到最先进的性能水平。

    Apr, 2022

  • 3D 面部动作单元的有条件对抗合成

    本文提出了一种基于 3D 形态模型的面部图像综合框架，可以通过给定目标 AU 标签生成生成新的表情参数和面部图像来增强面部表情识别数据，并在基准 DISFA 数据集上表现出良好的增强效果和 AU 强度估计性能。

    Feb, 2018

  • 多尺度推进的自适应相关学习用于面部动作单元检测

    提出了一种自适应 AU 相关性学习方法，通过在网络的不同阶段高效利用不同级别的 AU 运动和情感表示信息，自适应地学习和更新 AU 相关图，并结合多尺度特征学习方法，实现更强大的面部行动单元检测表现。

    Aug, 2023

  • 面部 AU 检测的端到端机器学习框架在重症监护室中的应用

    本文介绍了一种基于视觉变换器模型的端到端面部行为分析实时检测方法，评估了两种视觉变换器模型（ViT 和 SWIN）在 Pain-ICU 数据集上的 AU 检测能力，并证明了 SWIN transformer Base variant 可以实现 0.88 F1-score 和 0.85 准确度的 AU 检测。

    Nov, 2022

  • 利用合成数据进行通用且公平的面部行为单元检测

    通过使用合成数据和多源领域自适应方法解决已标记数据稀缺和性别多样性问题，本文提出了一种基于面部表情再目标化方法的面部动作单元检测模型，并采用配对矩匹配方法来提高性别平等性，实现实现在真实环境中的面部动作单元检测。

    Mar, 2024