Oct, 2021

FLAME: 面部标志热图激活的多模态凝视估计

PDF
TL;DR本研究提出了一种新的技术 ——Facial Landmark Heatmap Activated Multimodal Gaze Estimation (FLAME)，通过使用眼部解剖信息结合眼睛地标热图来获得精确的注视估计，从而克服了人体解剖差异的问题，而不需要任何人特定的标定。研究评估表明，本方法在 ColumbiaGaze 和 EYEDIAP 的基准数据集上具有竞争性能，并进行消融研究以验证方法的有效性。
3d gaze estimationfacial landmark heatmap activated multimodal gaze estimationperson-independent modelsanatomical differenceseye landmark heatmaps
发现论文，激发创造
  • 基于几何的低成本眼睛注视检测：使用基于深度学习产生的面部标志点

    该论文介绍了一种基于几何的方法来解决现有的真实时间凝视估计系统所面临的挑战，利用普通消费级硬件生成准确、稳定的人脸和虹膜的三维地标，从而预测眼睛凝视方向，实现低计算资源要求下的高精度、实时的眼睛凝视估计。

    Dec, 2023

  • 眼神追踪估计模型分析

    探讨了利用机器学习技术进行眼部凝视估计的技术，论文中提出了在不受限制的场景下，通过使用眼部地标来预测凝视方向的方法，并讨论了采用合成数据进行眼部地标本地化训练的学习方法，并提出了使用该模型进行个性化凝视估计的方法。

    Jul, 2022

  • 基于 FLAME 的多视图 3D 人脸重建

    通过将多视图训练框架与面部参数模型 Flame 相结合，本论文旨在实现更好的面部 3D 重建质量，提出了一个多视图训练和测试模型 MFNet（多视图 Flame 网络）。通过建立自监督训练框架，引入多视图光流损失函数和面部标志损失等约束，最终获得了完整的 MFNet。基于 AFLW 和 facescape 数据集以及模拟实际场景拍摄的面部照片，我们在尽可能模拟实际情况的同时重建了 3D 面部，并取得了良好的结果。本研究主要解决了将面部参数模型与多视角面部 3D 重建相结合的问题，并探索了基于 Flame 的多视图训练和测试框架的实现，对于面部 3D 重建领域有一定的贡献。

    Aug, 2023

  • 热力面部标记追踪

    通过使用来自红外图像的热图像，利用人脸的重要区域进行面部标志跟踪，忽略了光照和阴影，但显示了主体的温度，通过特定位置上的热量波动反映生理变化，如血液流动和出汗，用于远程判断焦虑和兴奋。本研究进一步尝试了各种模型，包括残差连接、通道和特征关注以及网络组件的并行运作，最佳模型整合了卷积和残差层以及通道自注意层，只需要不到 100,000 个参数。

    Nov, 2023

  • SalGaze: 使用视觉显著性个性化注视点估计

    提出 SalGaze，一种利用视觉内容中的显著性信息，无需显式用户校准，可透明地适应用户注视估计算法的框架，能够使用与标准点校准数据不同的显式视频显著性校准数据的统一框架，优于现有方法，精度提高了 24%。

    Oct, 2019

  • 面部表情全貌外观定位注视估计

    提出了一种全称人脸输入的外观识别方法，使用卷积神经网络对面部图像进行编码，应用于 2D 和 3D 注视估计中实现了重大的性能提升，对于极端头部姿势尤其明显。

    Nov, 2016

  • 真实情绪映射：实时新闻中面部表情基准测试

    使用从逼真的新闻视频中提取的面部地标的情感识别的一种新方法，采用图神经网络分析面部地标的几何和空间关系，提高情感识别的理解和准确性。该方法通过构建基准数据集展示了其可行性和潜力，为情感识别技术的未来研究指明了新的方向。

    Apr, 2024

  • 利用外貌和形状线索的 3D 凝视估计的循环卷积神经网络

    本论文使用多模态卷积神经网络在远程摄像机中完成了独立于人物和头部姿态的三维凝视估计。通过将人脸，眼睛区域和面部标志作为神经网络中的单个流来估计静态图像中的凝视。随后，利用凝视的动态特性，将所有帧的学习特征馈送到多到一循环模块，以预测最后一帧的三维凝视向量，其在多种头部姿态和凝视方向上获得了显著的改进。

    May, 2018

  • BlazePose GHUM Holistic: 实时 3D 人类关键点和姿势估计

    BlazePose GHUM Holistic 是一种轻量级神经网络模型，专门用于实时在设备上进行 3D 人体地标和姿势估计，包括阿凡达控制、健身追踪和 AR / VR 效果等，并具有 3D 真实数据获取的新方法、额外手部地标的更新的 3D 身体追踪和从单眼图像中完整身体姿态估计的主要贡献。

    Jun, 2022

  • QAFE-Net：面部表情质量评估与关键点热图

    针对帕金森病患者的面部表情质量问题，本研究提出了一种新的基于地标引导的方法 QAFE-Net，通过结合时序地标热图和 RGB 数据来捕捉面部微小肌肉动作，并将其编码和映射到严重程度评分中，实验结果表明该方法在质量评估方面超过了同类作品，也在疼痛估计方面达到了较低的平均绝对误差。

    Dec, 2023