Nov, 2023

NITEC：自拍视觉互动的多功能手动标注眼神接触数据集

PDF
TL;DR眼神接触是非常重要的非语言互动形式，在我们日常社交生活中起着重要作用。我们解决了机器捕捉人的眼神注视的挑战，给出了 NITEC 这一手动注释的自我视觉互动眼神接触数据集。我们的广泛评估结果表明，NITEC 在不同场景中具有强大的交叉数据集性能，强调了它在计算机视觉、人机交互和社交机器人领域中的有效性和适应性。我们公开提供 NITEC 数据集以促进该领域的可复制性和进一步探索。
eye contactnitecego-vision interactioncomputer visionhuman-computer interaction
发现论文，激发创造
  • 基于视频的端到端眼动追踪技术

    提出了一种利用视频数据集和图像相结合的方法，通过学习用户注视与眼部外形之间的联系来提高眼动追踪的精度，实现基于网络摄像头的高准确度屏幕眼动追踪，不需要标记的数据并且通过视觉刺激和眼部图像信息融合可以达到监督式个性化的效果。

    Jul, 2020

  • 细粒度自我中心手部 - 物体分割：数据集、模型和应用

    本文提供了一种具有像素级细分标签的 egocentric 图像数据集，其中包含 11,243 个日常活动中与对象相互作用时人手和对象的标签数据。我们引入了上下文感知的组合数据增强技术以适应分布外的 YouTube egocentric 视频，并展示了我们坚韧的手物分割模型和数据集可以作为基础工具，促进或实现手势状态分类、视频活动识别、手物交互的 3D 网格重建，以及对 egocentric 视频中的手物前景进行视频修复。

    Aug, 2022

  • 在自然社交互动中检测眼睛注视并应用于儿童评估

    该研究提出了一种新的方法来检测儿童与成人之间的眼神接触，该方法利用深度学习架构 Pose-Implicit CNN 来预测眼神接触并估计头部姿态，该方法已经在 100 个儿童的数据集上训练成功，精度、召回率和 PR 曲线下的面积均较以往方法都有显著提高。

    Feb, 2019

  • ETH-XGaze: 基于极端头部姿势和视线变化的注视估计大规模数据集

    本文介绍了一个新的注视估计数据集 ETH-XGaze，其中包含超过一百万个高分辨率的图像，记录了各种头部姿态下注视点的位置，为今后的注视估计研究提供了统一的实验协议和评估指标。

    Jul, 2020

  • HOT3D：一个关于 3D 手部和物体追踪的自我中心数据集介绍

    HOT3D 是一个公开可用的三维视角下手部和物体跟踪的数据集，包含大量的多视角 RGB / 单色图像流以及 19 个参与者与 33 个不同的刚体物体的交互动作，提供了多模态信号和全面的真实标注，旨在加速关于视角自身手部与物体交互的研究。

    Jun, 2024

  • EgoBody: 穿戴设备中交互人体的形状与动作

    EgoBody 是一个新的大规模数据集，用于通过自我主观视角获取人类姿态、形状和运动的估计，数据集覆盖丰富的互动场景，估计社交伙伴的 3D 全身姿态和形状。

    Dec, 2021

  • 视觉体验数据集：超过 200 小时的集成眼动、里程计和自我中心视频记录

    介绍 Visual Experience Dataset（VEDB）：一个由超过 240 小时的自我感知视频结合注视和头部追踪数据组成的数据集，提供了人类观察者在视觉世界中的前所未有的体验。该数据集包含 717 个会话，由 58 名 6-49 岁的观察者记录。介绍数据收集、处理和标记协议，讨论数据集内潜在的错误或偏差来源。VEDB 的应用潜力广泛，包括改进注视追踪方法、评估时空图像统计数据以及优化场景和活动识别的深度神经网络。VEDB 可以通过已建立的开放科学平台访问，旨在成为一个持续更新的数据集，并鼓励社区贡献。数据集强调了参与者隐私和减轻潜在偏差等伦理考虑。通过提供基于真实世界经验的数据集，并附有丰富的元数据和支持代码，作者邀请研究社区利用和贡献 VEDB，以促进对自然环境中视觉感知和行为的更深入理解。

    Feb, 2024

  • OpenEDS: 开放眼睛数据集

    本文介绍了一个大规模的眼镜数据集 OpenEDS，该数据集利用虚拟现实（VR）头戴式显示器捕获图像，其中包括 152 名参与者的眼部区域，该数据集可用于眼动跟踪研究和机器学习领域的语义分割任务。

    Apr, 2019

  • Ego2Hands：一种用于自我中心双手分割和检测的数据集

    本研究介绍了 Ego2Hands, 一种大规模 RGB-based 视角无约束手部分割 / 检测数据库和一种颜色不变合成的数据生成技术，这种技术能够创建具有大量和多样性的训练数据，并成功创造了一个评估数据集，大大超过了现有的基准，同时对最先进的手部检测算法的性能进行了系统分析。

    Nov, 2020

  • 基于外观的注视估计，使用深度神经网络增强的合成图像

    使用人工神经网络建立了一个模块化系统，通过对分别裁剪的眼睛进行估计，利用人脸检测和头部姿势估计组件，无需特殊硬件或红外滤光片，仅使用内置 RGB 相机进行人眼注视估计，通过包含大量合成数据集在训练模型中，达到了比相关方法更高的准确度。

    Nov, 2023