Jun, 2023

MeciFace: 基于机械肌电和惯性融合技术的眼镜边缘实时识别面部和进食活动

PDF
TL;DRMeciFace 是一款低功耗、隐私保护的实时可穿戴设备，使用卷积神经网络监测面部表情和进食活动，能够实时监控面部表情和饮食，且在测试中取得了良好的效果。
发现论文，激发创造
  • AUGlasses：使用低功耗 IMU 在智能眼镜上基于持续动作单元的面部重构

    智能眼镜的增强现实技术提供了多种传感器的使用，用于面部重建，通过在脸部的颞部放置惯性测量单元（IMU）来捕捉面部肌肉运动引起的皮肤变形，使用基于变压器的深度学习模型实时估计行为单位（AU）的强度，进而进行面部重建。

    May, 2024

  • CaptAinGlove：基于电容和惯性融合技术的手套，用于实时边缘手势识别和无人机控制

    CaptAinGlove 是一种基于纺织品的低功耗手套解决方案，可识别用于无人机控制的手势。

    Jun, 2023

  • SpecTracle: 佩戴型无障碍视角摄像头面部动作追踪系统

    通过两个广角摄像头紧挨 Hololens 的遮光罩进行面部动作追踪，我们展示了一种名为 SpecTracle 的新型系统。避免使用前置摄像头，我们的系统大大提高了将全脸追踪融入低调外形的可行性。我们还证明了基于神经网络模型处理广角摄像头可以在移动 GPU 上实时运行，每秒 24 帧，并使用用户独立模型追踪面部的不同部位的独立动作。通过简短的个性化校准，与用户独立模型相比，该系统的追踪性能提高了 42.3%。

    Aug, 2023

  • Mo2Cap2：配备鱼眼镜头的帽式相机实时移动三维运动捕捉

    提出了一种新的实时方法，基于单个鱼眼摄像头和轻量级设备设置，通过 CNN 在个人视角测量人体姿态，使得在广泛的日常活动中成为可能。

    Mar, 2018

  • Face-GPS: 视频中量化面部肌肉动态的综合技术

    引入一种新颖的方法，结合了微分几何、核平滑和谱分析，以量化面部肌肉活动，用于广泛可访问的视频录制，如个人智能手机。该方法强调实用性和可访问性，具有在国家安全和整形外科领域的潜在应用。此外，它还提供了中风、贝尔氏麻痹和听神经瘤等疾病的远程诊断和监测，并且能够准确识别和分类从明显到微妙的情绪。所提出的面部肌肉分析技术是对深度学习方法的可解释性替代和面部肌肉电图（fEMG）的非侵入性替代。

    Jan, 2024

  • FaceVR：虚拟现实中实时面部再现和眼神控制

    提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

    Oct, 2016

  • 基于批处理的自拍照片流活动识别重访

    利用可穿戴相机的图像数据，结合卷积神经网络和递归神经网络的优点，提出了一种基于批量处理的系统来识别 21 种日常活动，准确率达 89.85％，优于现有的端到端方法。

    Oct, 2017

  • 仿微小眼跳的事件相机用于机器人学

    通过在事件相机的光圈前安装旋转楔形棱镜，我们设计了一种基于仿生微眼球震动的事件感知系统，能够同时维持低反应时间和稳定的纹理外观。AMI-EV 硬件设备和软件解决方案被集成到一个系统中，并在标准相机和事件相机均无法提供满意结果的场景中得到了验证。多种真实世界实验证明该系统在低级别和高级别视觉任务中促进机器人感知的潜力。

    May, 2024

  • 用眼部追踪相机在虚拟现实中识别面部表情

    本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

    Jul, 2017

  • EventEgo3D：从主观事件流中进行的 3D 人体动作捕捉

    使用单眼自我中心 3D 人体动作捕捉问题，该文介绍了基于事件相机和鱼眼镜头的 3D 人体动作捕捉方法，并开发了 EE3D 框架，具有高 3D 重建准确度和实时 3D 姿势更新速率。

    Apr, 2024