MMMar, 2024

Panonut360：用于全景视频的头部和眼球跟踪数据集

PDF
TL;DR通过开发头部和眼部跟踪数据集，本研究揭示了在多个用户和视频的实验设置中，眼球注视相对视野下方固定位置的一致偏移现象，从而挑战了视野中心位置的注视注意力按照高斯分布递减的广泛假设，并提供了根据给定头部或眼部坐标和预生成的视频注视分布图集生成注视分布的脚本。
vr/ar technologyimmersive panoramic video servicessaliency regionpanoramic video datasetshead and eye tracking dataset
发现论文，激发创造
  • 基于视频的端到端眼动追踪技术

    提出了一种利用视频数据集和图像相结合的方法，通过学习用户注视与眼部外形之间的联系来提高眼动追踪的精度，实现基于网络摄像头的高准确度屏幕眼动追踪，不需要标记的数据并且通过视觉刺激和眼部图像信息融合可以达到监督式个性化的效果。

    Jul, 2020

  • 360+x: 一个全景多模态场景理解数据集

    该研究使用多个视角和多种数据模式，提供全景视角和个人视角的场景理解数据集，以模拟真实世界中的信息访问方式，并通过 5 个不同的场景理解任务对数据集进行了评估，希望为综合场景理解提供更广泛的范围和多元化视角。

    Apr, 2024

  • WinDB: 免 HMD、免畸变的全景视频固定学习

    本研究介绍了一种用于平面全景视频的 WinDB 辅助窗口虚化视点采集方法，并基于此方法发布了一个新的 PanopticVideo-300 数据集，同时提供了一个针对视点漂移问题的简单基准设计。

    May, 2023

  • 360 度广域：深度预测与视角合成数据集

    本文介绍了一个大规模 360 度视频数据集，包含各种环境和上下文，以及相机的姿态和深度图，证明了该数据集在单一图像深度估计和视图合成两个主要任务中的相关性。

    Jun, 2024

  • TurkerGaze: 使用基于网络摄像头的眼动跟踪进行众包显著性研究

    本文介绍了一种基于网络摄像头的注视追踪系统，支持大规模的众包眼动追踪。该系统通过谨慎的算法和游戏协议设计，以相对较低的成本和研究人员的少量努力获得了与传统实验室设置相当的视觉显著性预测数据。使用该工具，作者建立了一个自然图像的显著性数据集，并提供了一个 Web 服务器，研究人员可以上传图像以从 AMTurk 获取眼动追踪结果。

    Apr, 2015

  • 全景视觉 Transformer 用于 360 度视频显著性检测

    本文提出了一种名为 Panoramic Vision Transformer（PAVER）的新框架，能够使用 Vision Transformer 结合可变形卷积从 360 度视频的局部特征中学习视觉显著性，从而在 Wild360 基准测试上显著优于其他先进模型，无需监督或辅助信息。

    Sep, 2022

  • 观者视角下的注视和行为：第一人称视频

    该研究旨在使用头戴式相机捕获的视频，基于人的动作和视线方向，开发一种新的深度学习模型，能够在 First Person Vision（第一人称视角）环境下进行准确的行动识别，并在 EGTEA Gaze+ 数据集上超越了当前技术水平。

    May, 2020

  • Gaze360: 野外物理无约束凝视估计

    该研究提供了 Gaze360 数据集和方法，可以在不受限制的图像中进行强大的三维凝视估计，通过时间信息扩展了现有模型，直接输出凝视不确定性的评估，并展示了在不同的凝视基准数据集上推广的性能，最后，在超市环境中应用该模型可用于评估客户的注意力。

    Oct, 2019

  • 重访视频显著性：一个大规模基准和一个新模型

    该研究提出了一种基于注意力机制增强的 CNN-LSTM 网络架构，可用于动态视频场景下显著性学习，在 DHF1K 数据集上取得了优于其他竞争者的性能表现。

    Jan, 2018

  • Gaze-in-wild：一个用于研究日常活动中眼睛和头部协作的数据集

    通过收集 GW 数据集（该数据集包括眼部运动、头部角速度、眼睛和场景图像），训练和评估了两种机器学习算法（随机森林和递归神经网络模型），用于眼睛运动分类（如注视、眼球、追踪）。分类器实现了近似于人类检测注视和眼球运动的 90％的性能，但在检测追踪运动时则低于 60％，并且追踪分类在没有头部运动信息的情况下更低。最佳模型对特征的显着性分析显示，分类不需要头部和眼睛跟踪坐标系的空间对齐。

    May, 2019