Aug, 2023

Spresense 上的注视估计

PDF
TL;DR使用 Sony Spresense 微控制器板实现了一个注视估计系统，研究了其在延迟、MAC / 周期和功耗方面的性能。此报告还提供了关于系统架构的见解，包括使用的注视估计模型。此外，演示了系统的功能和性能，我们的轻量级模型 TinyTrackerS 只有 169Kb 的大小，使用 85.8k 参数，在 Spresense 平台上以 3 帧 / 秒的速度运行。
发现论文，激发创造
  • TinyTracker: 用于 Gaze 估计的超快速、超低功耗边缘视觉传感器

    本文介绍了利用 IMX500 传感器平台实现超快速、超低功耗的边缘视觉任务，包括小型 2D 凝视估计的 TinyTracker 模型，并与其他边缘平台进行比较，揭示 IMX500 在速度和功耗方面的优势。

    Jul, 2023

  • GazeOnce: 实时多人凝视估计

    本研究提出一种新的单阶段端到端注视估计方法，可同时预测图像中多个面孔（>10）的注视方向，并使用 MPSGaze 数据集验证了该方法的有效性和易用性，为实时应用提供支持。

    Apr, 2022

  • 手持移动设备的凝视估计及其交互应用的端到端综述

    本文对移动交互式系统中利用凝视作为单一或补充交互模式的最新技术和应用进行全面综述，并重点介绍了凝视捕捉传感器，凝视估计工作流，深度学习技术以及凝视交互应用等关键领域。

    Jun, 2023

  • 辅助生活环境下的凝视估计

    本文提出了一种基于单个姿态估计模型采集的面部关键点的相对位置来估计个体注视方向的神经网络回归器，结合目标遮挡情况下的置信度门控单元，实现了对复杂辅助生活环境中居民与周围物体互动的自动推理；实验结果表明，该模型与数据集特定的复杂基线模型相媲美。

    Sep, 2019

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • 外貌为基础的方法的评估及其对凝视应用的影响

    本研究评估了最先进的基于外观的凝视估计，涉及不同的感应距离，室内和室外的交互场景，带和不带眼镜的用户，并讨论了其在具有重要凝视为基础的应用程序中的应用，因此，我们呈现了 “OpenGaze”，这是外观凝视估计和交互的第一个软件工具包，以使其在人机交互中广泛使用。

    Jan, 2019

  • SalGaze: 使用视觉显著性个性化注视点估计

    提出 SalGaze，一种利用视觉内容中的显著性信息，无需显式用户校准，可透明地适应用户注视估计算法的框架，能够使用与标准点校准数据不同的显式视频显著性校准数据的统一框架，优于现有方法，精度提高了 24%。

    Oct, 2019

  • 外观为基础的凝视追踪个性化学习

    通过介绍 SPatial Adaptive GaZe Estimator（SPAZE）, 本文提供一种对于眼部注视追踪的新解决方案，通过将个人变化建模为低维潜在参数空间，SPAZE 提供了足够的适应性，能够捕捉个人变化的范围而不容易过度拟合，并证明了其精度和可行性。

    Jul, 2018

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 面向所有人的眼动跟踪技术

    本文介绍了 GazeCapture 这一大规模数据集，使用这一数据集训练了基于卷积神经网络的眼动预测模型 iTracker，实现了在移动设备上的实时眼动追踪。该模型能够达到较高的预测准确率，并具有广泛的泛化性能。

    Jun, 2016