Jun, 2023

手持移动设备的凝视估计及其交互应用的端到端综述

PDF
TL;DR本文对移动交互式系统中利用凝视作为单一或补充交互模式的最新技术和应用进行全面综述，并重点介绍了凝视捕捉传感器，凝视估计工作流，深度学习技术以及凝视交互应用等关键领域。
interactive systemshandheld mobile devicesgaze estimationmachine learning techniquesdeep learning
发现论文，激发创造
  • 外貌为基础的方法的评估及其对凝视应用的影响

    本研究评估了最先进的基于外观的凝视估计，涉及不同的感应距离，室内和室外的交互场景，带和不带眼镜的用户，并讨论了其在具有重要凝视为基础的应用程序中的应用，因此，我们呈现了 “OpenGaze”，这是外观凝视估计和交互的第一个软件工具包，以使其在人机交互中广泛使用。

    Jan, 2019

  • 驾驶员视线估计与视线行为理解应用综述

    本文旨在全面回顾驾驶员凝视基础知识、估计驾驶员凝视的方法以及其在现实世界驾驶场景中的应用，包括了算法、数据集、驾驶行为等方面，并讨论了现有文献中的局限性、挑战和未来的研究方向。

    Jul, 2023

  • 基于外貌的深度学习注视估计：综述和基准

    本文基于深度学习方法综述了当前外貌为基础的凝视估计技术。介绍了数据预处理和后处理方法，将所有公开数据集进行了特征化，并设置了评估准则。本研究提供了参考，可供深度学习或未来凝视估计研究使用。

    Apr, 2021

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 眼神追踪估计模型分析

    探讨了利用机器学习技术进行眼部凝视估计的技术，论文中提出了在不受限制的场景下，通过使用眼部地标来预测凝视方向的方法，并讨论了采用合成数据进行眼部地标本地化训练的学习方法，并提出了使用该模型进行个性化凝视估计的方法。

    Jul, 2022

  • 面向所有人的眼动跟踪技术

    本文介绍了 GazeCapture 这一大规模数据集，使用这一数据集训练了基于卷积神经网络的眼动预测模型 iTracker，实现了在移动设备上的实时眼动追踪。该模型能够达到较高的预测准确率，并具有广泛的泛化性能。

    Jun, 2016

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • 利用设备集成与可穿戴传感器预测日常移动交互期间的用户关注

    该论文介绍了一种使用设备集成传感器和身体佩戴相机的方法来预测用户在移动设备上的视觉注意力行为，并探讨了其在不同特征集下的性能和潜力。

    Jan, 2018

  • 辅助生活环境下的凝视估计

    本文提出了一种基于单个姿态估计模型采集的面部关键点的相对位置来估计个体注视方向的神经网络回归器，结合目标遮挡情况下的置信度门控单元，实现了对复杂辅助生活环境中居民与周围物体互动的自动推理；实验结果表明，该模型与数据集特定的复杂基线模型相媲美。

    Sep, 2019

  • 开放注视：复制 Google 眼动追踪论文的开源实现

    本文提出了一种基于智能手机的凝视追踪器的开源实现，利用机器学习技术实现了与专业设备相当准确度的眼动追踪解决方案，并通过复制之前的研究关于眼动行为和自然图像观察中显著性分析的关键发现，强调了智能手机凝视追踪在阅读理解挑战中的应用潜力，以及在视觉研究、无障碍增强和医疗应用等领域的益处。

    Aug, 2023