CVPRJun, 2020

一种基于凝视的第一人称视频快进方法

PDF
TL;DR本文提出一种基于注意力模型、注重注视点和视觉场景分析生成视频语义得分的方法，以加速重要片段并跳过重复片段的第一人称视频片段浏览。在公开的第一人称视频数据集上进行的实验评估表明，此方法能够有效提高视频片段搜索速度和准确性。
发现论文，激发创造
  • 面向语义快进和稳定的自我中心视频

    本文提出了一种从自我视角视频中提取语义信息来汇总并稳定视频的方法，并介绍了一个带有多个语义标签的视频数据集和一种新的自我视角视频平滑评估度量标准。

    Aug, 2017

  • 基于语义提取的快速视频前进

    本文提出了一种基于从图像中提取的语义信息选择帧的新快进视频的方法，实验表明我们的方法在语义信息方面优于现有技术并且能够产生更加令人愉悦的视频。

    Aug, 2017

  • 一种加权稀疏采样和平滑过渡的语义快进第一人称视频方法

    该研究提出了一种新的自适应帧选择方法和平滑帧转换方法以加速第一人称视频并强调相关段落，从而避免视觉不连续性，实验表明我们的方法能够在更短的时间内保留尽可能多的相关信息和平滑度，并且我们还提供了一个新的 80 小时的多模态数据集，包含了记录者资料、帧场景、活动、互动和注意力的注释。

    Feb, 2018

  • 简化故事，强调相关物体的多重重要性快进自我中心视频

    本研究提出 MIFF 快速转发方法，针对低成本高质量的个人可穿戴相机产生的第一人称视角视频难以观看等问题，通过用户学习过程平衡视觉流畅度和重要内容，结果表明该方法保留了超过 3 倍的语义内容，讨论了快进自我视角视频需要特殊的视频稳定技术。

    Nov, 2017

  • 观者视角下的注视和行为：第一人称视频

    该研究旨在使用头戴式相机捕获的视频，基于人的动作和视线方向，开发一种新的深度学习模型，能够在 First Person Vision（第一人称视角）环境下进行准确的行动识别，并在 EGTEA Gaze+ 数据集上超越了当前技术水平。

    May, 2020

  • 第三人称视角总结第一人称视频

    本研究提出了一种新颖的深度神经网络体系结构，通过半监督的方法，总结第一人称视频中的关键视空间信息，其中利用第三人称视频作为训练数据，并在实验中展示了这个模型的定性和定量评估。

    Nov, 2017

  • 第一人称视角方法的演化：概述

    介绍第一人称视角感知技术，重点是对于视频分析的实时处理方案的发展历程，方法及挑战。

    Sep, 2014

  • 使用文本数据的强化学习快进视频

    本文提出一种基于强化学习的方法来加速教学视频，该方法可以自适应地选择不相关的帧以缩小输入视频，同时使用 Visually-guided Document Attention Network（VDAN）产生高度判别的嵌入空间来表示文本和视觉数据，实验证明本方法在视频段水平上实现了最佳的 F1 Score 和覆盖率。

    Mar, 2020

  • 基于第一人称视频的社交行为预测

    本文提出了一种从篮球运动员的第一人称视频中预测其未来运动轨迹 (位置和视线方向) 的方法，该方法利用了第一人称视频中独特的学习信号和 3D 重建技术，通过 Siamese 神经网络和长期循环卷积网络实现了对未来运动的预测。

    Nov, 2016

  • 基于轨迹对齐的特征用于第一人称动作识别

    该研究旨在研究在第一人称视角下，如何准确识别行为。为此，提出了一种新颖的特征轨迹表示方法，并且使用所提出的方法在公开数据集上实现了 11% 的性能提升，该方法可以识别出佩戴者的各种行为，且不需要分割手 / 物体或识别物体 / 手的姿态。

    Apr, 2016