May, 2015

预测能够精简自我中心视频的重要对象

PDF
TL;DR本研究提出了一种针对 egocentric（或 “穿戴式”）相机数据的视频摘要方法，通过使用区域线索和学习回归器，选择与相机佩戴者互动最多的重要对象和人，以生成紧凑的故事板摘要，并享有相对于现有显著性和摘要技术的巨大优势。
video summarizationegocentric camera dataregion cuestemporal event detectionimportance selection criterion
发现论文，激发创造
  • 代表性关键帧视觉化呈现自我中心照片流

    提出了一种基于关键帧选择的摘要方法，该方法利用卷积神经网络提取的视觉特征对由佩戴式摄像头拍摄的自我记录图像流进行视觉摘要，通过无监督聚类将图像流划分为事件，并从每个事件中提取最相关的关键帧。经过盲品测试验证结果的质量。

    May, 2015

  • 基于时间连接序列的自我中心视频描述

    本研究旨在利用一种新的方法，即多态输入的注意力循环网络，来描述自我中心影像序列的故事情节，并发布了第一个自我中心影像序列描述数据集，该方法的表现优于传统的注意力编码器 - 解码器方法。

    Apr, 2017

  • 面向语义快进和稳定的自我中心视频

    本文提出了一种从自我视角视频中提取语义信息来汇总并稳定视频的方法，并介绍了一个带有多个语义标签的视频数据集和一种新的自我视角视频平滑评估度量标准。

    Aug, 2017

  • 第三人称视角总结第一人称视频

    本研究提出了一种新颖的深度神经网络体系结构，通过半监督的方法，总结第一人称视频中的关键视空间信息，其中利用第三人称视频作为训练数据，并在实验中展示了这个模型的定性和定量评估。

    Nov, 2017

  • 第一人称视角视频中重要物体的无监督学习

    本研究提出了一种基于交替网络和路径监督的无监督学习方法，不需要依赖摄像机佩戴者或第三方注释者的重要目标检测，该方法在两个不同的数据集上实现了与有监督学习类似或更好的结果。

    Nov, 2016

  • 增强上下文感知的视频摘要

    视频摘要是一个至关重要的研究领域，旨在从当今海量视频内容中高效浏览和检索相关信息。尽管视频摘要的重要性，缺乏多样化和有代表性的数据集阻碍了算法的全面评估和基准测试。为了克服数据稀缺的挑战并改进评估，我们提出了一种利用视频数据结构和信息生成信息摘要的无监督方法。此外，我们还引入了一种专门用于视频摘要的创新评估流程。实验结果表明，我们的无需训练的框架优于现有的无监督方法，并与最先进的监督方法取得竞争性结果。

    Apr, 2024

  • 基于轨迹对齐的特征用于第一人称动作识别

    该研究旨在研究在第一人称视角下，如何准确识别行为。为此，提出了一种新颖的特征轨迹表示方法，并且使用所提出的方法在公开数据集上实现了 11% 的性能提升，该方法可以识别出佩戴者的各种行为，且不需要分割手 / 物体或识别物体 / 手的姿态。

    Apr, 2016

  • 基于 CNN 的视频帧重要性预测与摘要

    本文提出了一种基于卷积神经网络的用户定向视频摘要生成方法，与传统的基于手工特征的方法相比，通过离线训练得到的权重和偏差使得该系统可以几乎实时地提取视频帧的重要性，实验结果表明该方法在估计视频镜头重要性方面表现优异。

    Aug, 2017

  • 基于条件建模的自动视频摘要

    基于对人类生成的视频摘要的洞察，本论文提出了一种新的视频摘要方法，该方法利用条件建模的视角，引入多个有意义的随机变量和联合分布来刻画视频摘要的关键组成部分，并利用辅助分布改进模型的训练。设计了条件注意力模块来减轻多模态输入可能导致的性能下降，该方法融合了以上创新设计选择，旨在缩小人工生成和机器生成视频摘要之间的差距。大量实验证明该方法优于现有方法，并在常用视频摘要数据集上实现了最先进的性能。

    Nov, 2023

  • 侦测自我中心视频中的参与度

    该研究提出了一种基于长期自我运动线索的学习方法来检测佩戴者在穿越场景时的注意力，特别是在需要获取新的视觉信息时，与以前的研究相比，该方法可以独立于场景外观和佩戴者身份来有效地检测 engagement。

    Apr, 2016