ECCVMar, 2018

通过学习任务相关关注转换预测主观视角视频中的凝视

PDF
TL;DR通过探索注意转移中的时间偏移模式（注意转换）来提出一种新的计算模型，它取决于自我操作任务，以在自然动态场景中推测视线， 并结合深度神经网络和进阶的注意转移和底层显著性预测，利用视线的时间上下文，能够显著优于其他预测方法。
gaze predictionegocentric videostemporal shifttask-dependent attentiondeep neural networks
发现论文，激发创造
  • 利用人类注视数据监督视频字幕生成神经注意模型

    本研究探讨是否可以利用人眼注视追踪信息定义注意力机制以提高视频字幕生成任务的性能，通过提出一种名为 GEAN 的视频字幕模型，并采用人眼注视追踪数据来提供生成句子的时空注意力，以及对语言相似性指标和人工智能通过 Amazon mechanical Turk 进行的评估，证明了由人眼追踪数据指导的空间注意力确实改善了多个字幕方法的性能，并展示了该方法在 VAS 数据集和标准数据集（如 LSMDC 和 Hollywood2）中实现了领先的性能，成为最先进的视频字幕生成方法。

    Jul, 2017

  • 自我中心视频中的时间显著性适应

    本研究采用一种深度神经模型来预测视觉显著性，将其应用于自我中心视频时域，通过添加卷积或 conv-LSTM 层，针对性的训练视频显著性预测数据集，结果表明，当观察者不移动且从狭窄的视野观察时，时域适应性是有益的，并公开了 EPIC Kitchen 数据集的视觉显著性地图。

    Aug, 2018

  • 基于 Transformer 的人类注视行为在视频中的预测模型

    基于眼动追踪数据的视频分析自动化是一个重要的任务。本文提出了一种基于转换器增强学习算法的模拟人类视线行为的新方法，通过观看视频并模拟人类注视行为，该方法能有效地复制人类注视行为并应用于实际任务。

    Apr, 2024

  • 与人类视线互动的神经图像字幕生成

    通过研究人类注视和深度神经网络注意力机制之间的相互作用，我们提出了一种新的注视辅助图像字幕模型，将人的注视信息集成到基于注意力的 LSTM 结构中，能够将算法选择性地分配到注视和非注视的图像区域，这种方法通过对 COCO / SALICON 数据集的评估，显示了我们方法改善了图像字幕性能，并且注视可以补充机器的注意力，提高了语义场景理解的任务。

    Aug, 2016

  • 睁大眼睛：通过检测不可预测注视实现自心视角视频中的无监督错误检测

    本研究提出了一种无监督的方法，通过分析用户视线信号来检测机载视频中的错误，提升智能眼镜中的用户辅助功能，并通过分析异常视线模式预测眼睛视线轨迹以识别错误，该方法在 EPIC-Tent 数据集上验证了其在一类监督和无监督技术上的优越性。

    Jun, 2024

  • 通过联合建模注视和场景显著性来通用关注估计：连接注视，场景和注意力

    本文研究了如何在自然社交场景下，通过多任务学习方法精准地估计人们在图像中的视觉关注与注视点，特别考虑了视线方向及目标超出画面的情况。该方法在多项测试中取得了优异表现，扩展了现有数据集，公开发布。

    Jul, 2018

  • 利用多任务学习提升自我中心行为识别

    本文提出了一种使用多任务学习的方法，通过并行训练网络来提高动作识别的准确率，并同时实现手部和凝视估计的辅助任务。在多个数据集上的实验证明，该方法在动作识别上的性能明显优于单任务学习模型，并可以准确预测手部和凝视位置。

    Sep, 2019

  • 自我中心视频任务翻译

    穿戴式摄像头的全息自我视角下，手 - 物体操纵、空间导航和人 - 人交互等视频理解任务是相互关联的，EgoTask Translation (EgoT2) 提出了一种统一的解决方法，采用多任务学习的翻转设计，通过优化多个模型，实现在所有任务上的改进性能。在 Ego4D 视频挑战中，实验表明其优于现有 transfer 范式，并在其中四项挑战中取得了最佳成绩。

    Dec, 2022

  • 理解和建模任务与环境对驾驶员注视分配的影响

    驾驶员注意力、注视预测、任务和环境、显著性和 DR (eye) VE 数据集是该研究的主要关键词和研究领域。

    Oct, 2023

  • 个性化视频视线估计的时空注意力和高斯过程

    使用深度学习模型和专门的注意力模块，通过视频实现准确的注视方向预测，并且通过个性化处理和少量样本获得更高的精度。

    Apr, 2024