Sep, 2023

LEyes: 基于合成眼睛图像的轻量级深度学习眼动追踪框架

PDF
TL;DR通过使用简单的光线分布模拟眼睛的关键图像特征，Light Eyes（LEyes）框架能够通过多样的凝视估计任务来令神经网络训练更容易配置，从而解决了深度学习在目光估计方面的问题。LEyes 训练的模型在瞳孔和眼角膜反射定位方面在众所周知的数据集上优于其他最先进的算法，并且通过使用更具成本效益的硬件，该模型的性能也超过了工业标准的眼动仪。未来，我们有信心 LEyes 将革新用于凝视估计模型的合成数据生成，并带来下一代基于视频的眼动仪的显著改进。
gaze estimationtraining datasetseye trackingsynthetic data generationvideo-based eye trackers
发现论文，激发创造
  • 用于眼形注册和凝视估计的眼部渲染

    该研究利用计算机图形技术合成眼睛数据，以替代传统方法的耗时数据收集和手动标注，实现更好的性能表现。

    May, 2015

  • 深度领域适应：一种用于改进眼动跟踪系统的仿真到真实的神经方法

    使用降维技术衡量目标眼睛图像和合成训练数据之间的重叠，并修剪训练数据集以最大化分布重叠，从而解决模拟和实际数据样本之间的差异，从而实现鲁棒的、改善的性能。

    Mar, 2024

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023

  • 半监督对比回归用于眼球注视估计

    通过使用半监督对比学习框架，本文提出了一种新的对比损失范式，从而实现了基于注视方向的估计，该框架在使用少量带有标签的注视数据集时，可以找到泛化解决方案，即使对于未见过的人脸图像也能有良好的性能表现，与其他用于注视估计的最先进对比学习技术相比，我们的对比回归框架表现良好。

    Aug, 2023

  • 眼神追踪估计模型分析

    探讨了利用机器学习技术进行眼部凝视估计的技术，论文中提出了在不受限制的场景下，通过使用眼部地标来预测凝视方向的方法，并讨论了采用合成数据进行眼部地标本地化训练的学习方法，并提出了使用该模型进行个性化凝视估计的方法。

    Jul, 2022

  • 基于视频的端到端眼动追踪技术

    提出了一种利用视频数据集和图像相结合的方法，通过学习用户注视与眼部外形之间的联系来提高眼动追踪的精度，实现基于网络摄像头的高准确度屏幕眼动追踪，不需要标记的数据并且通过视觉刺激和眼部图像信息融合可以达到监督式个性化的效果。

    Jul, 2020

  • 使用深度学习提高虚拟现实中眼动追踪的鲁棒性、准确性和精度

    通过比较不同机器学习方法在眼部特征追踪中的表现，本研究客观评估了这些方法对最终注视估计质量的影响。

    Mar, 2024

  • 基于几何的低成本眼睛注视检测：使用基于深度学习产生的面部标志点

    该论文介绍了一种基于几何的方法来解决现有的真实时间凝视估计系统所面临的挑战，利用普通消费级硬件生成准确、稳定的人脸和虹膜的三维地标，从而预测眼睛凝视方向，实现低计算资源要求下的高精度、实时的眼睛凝视估计。

    Dec, 2023

  • 学习在非受限环境下寻找眼部关键点以进行远程凝视估计

    本文提出了一种基于学习的方法来进行眼部标志点的定位，采用该方法能够在未受控制的真实环境下较之传统方法更具优势，在个性化视线估计场景中性能优越。

    May, 2018

  • 基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

    本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

    Jan, 2022