CVPRMar, 2023

野外多人实时眨眼检测技术

PDF
TL;DR该论文提供了一个新的方法：开发一种在野外普遍应用的实时多人眨眼检测方法及其数据集，该数据集包含大量未剪辑的场景；使用端到端学习来处理面部检测、跟踪和人体级别眨眼检测等子任务，减少了运行时间。与现有方法相比，该方法的表现更好并具有高速推理的特点。
发现论文，激发创造
  • 实时眨眼检测技术在野外的应用：数据集、理论和实践

    本文研究实时眨眼检测技术在野外环境中的应用。作者提出了一个人眼位置和轨迹跟踪后使用改进的 LSTM 模型识别多尺度时序信息的眨眼检测方法，并建立了适用于野外环境的眨眼数据集（HUST-LEBW）以验证该方法的可行性和效率。

    Feb, 2019

  • GazeOnce: 实时多人凝视估计

    本研究提出一种新的单阶段端到端注视估计方法，可同时预测图像中多个面孔（>10）的注视方向，并使用 MPSGaze 数据集验证了该方法的有效性和易用性，为实时应用提供支持。

    Apr, 2022

  • mEBAL2 数据库与基准：基于图像的多光谱眨眼检测

    这项研究介绍了一个新的多光谱数据库和针对 RGB 和近红外（NIR）个体图像的眨眼检测的新方法。通过提供的数据集（mEBAL2），我们有机会改进数据驱动的多光谱方法，以提高眨眼检测和相关应用的表现。通过在各种难度的在线学习任务中使用多个传感器捕捉面部动作的方式，以及结合脑电图（EEG）频段记录用户的认知活动和眨眼事件，我们证明了这些方法的泛化能力。最终，通过在更具挑战性的环境中验证模型的适用性，我们展示了训练 mEBAL2 可以用于培养新一代数据驱动的眨眼检测方法的重要性。

    Sep, 2023

  • 睁大眼睛：通过检测不可预测注视实现自心视角视频中的无监督错误检测

    本研究提出了一种无监督的方法，通过分析用户视线信号来检测机载视频中的错误，提升智能眼镜中的用户辅助功能，并通过分析异常视线模式预测眼睛视线轨迹以识别错误，该方法在 EPIC-Tent 数据集上验证了其在一类监督和无监督技术上的优越性。

    Jun, 2024

  • mEBAL: 用于眨眼检测和注意力估计的多模态数据库

    这篇论文介绍了一个名为 mEBAL 的多模态数据库，用于眨眼检测和注意力水平估计，其改进了现有数据库在采集传感器和样本方面的限制，并基于学生眨眼频率估计其注意力水平，初步实验表明使用卷积神经网络在面部图像中眨眼检测的效果比较好。

    Jun, 2020

  • 野外环境中基于外貌特征的注视估计

    本文针对外界复杂的实际应用场景下的视线估计问题，在自然、真实的使用环境中使用 MPIIGaze 数据集进行研究，并提出了一种多模态卷积神经网络的方法，通过跨数据集评估证明该方法显著优于现有的方法。我们还对三个最新数据集上的几种最先进的基于图像的凝视估计算法进行了细致评估，确认了外部环境变化对凝视估计的影响，为实际的实时视线估计研究提供了重要的参考。

    Apr, 2015

  • 在线视频多模态人员搜索

    本文提出了一种在线人员搜索框架，它采用多模态记忆库作为人员识别的基础，并通过强化学习获得策略进行动态更新。实验结果表明，该方法不仅实现了在线模式下的显著改进，而且胜过了离线方法。

    Aug, 2020

  • 眨眼之间：基于事件的情绪识别

    我们介绍了一种可穿戴的单眼情绪识别设备和一种能够实时识别部分情绪观察的情绪识别方法，该方法对光照条件的变化具有鲁棒性。

    Oct, 2023

  • 野外眨眼检测的深度可分离卷积时空金字塔卷积神经网络

    本文旨在解决在野外环境下眼部闪烁检测面临的问题，主要通过上采样和下采样的方法解决图像分辨率和检测效率问题。同时采用深度可分卷积方法能够在提取空间和时间特征的同时减小网络规模。

    Jun, 2023

  • 在多人视频中检测事件和关键参与者

    本文提出了一种使用递归神经网络 (RNN) 和注意力机制识别多人事件的模型，成功应用于新采集的篮球数据集并取得了优异的分类和检测效果。

    Nov, 2015