Dec, 2023

同步即足够：无标注同步视频对于时间动作分割的非中心到中心转化

PDF
TL;DR将一种最初设计用于固定摄像机的时间动作分割系统转移到身份摄像机的情景中，无需收集并标记新的以身份摄像机为主体的视频数据集来适应该模型。通过利用现有标记的以外离摄像机视频和一套新的未标记、同步的以外离 - 以身份摄像机视频对，我们提出了一种新的方法论来进行适应。我们基于知识蒸馏的方法实现了该方法论，从特征和模型两个层面进行了研究。在 Assembly101 数据集上评估我们的方法，结果表明该方法与经典的无监督领域适应和时间序列对齐方法相比是可行和有效的。值得注意的是，我们最好的模型在不需要看到任何以身份摄像机标签的情况下，在 Assembly101 数据集上的编辑得分比仅在以外离数据上训练的基线模型得到了 + 15.99% 的提高（28.59% vs 12.60%）。
发现论文，激发创造
  • 通过时间对齐从未成对的自我 - 外在视频中学习细粒度视角不变表示

    本文提出了一种 AE2 的自我监督嵌入方法，专门用于从 Ego-Exo 上下文的视角中学习不变的微观动作特征，并且在细粒度的视频理解任务中均表现出优异的性能。

    Jun, 2023

  • 从外向内视角理解跨视角动作识别

    提出了一种跨视角学习的方法，通过分析不同视角下的摄像机位置并引入基于几何约束的注意力机制，以加强深度学习模型在个人视频中的动作识别能力。实验证明这种方法在标准的个人视频动作识别基准测试中表现良好，并达到了最先进的性能。

    May, 2023

  • Exo2EgoDVC：使用网络教育视频进行以自我为中心的程序性活动的密集视频标题生成

    提出了一种用于稠密视频字幕的跨视图知识传递的新型基准，从具有外视图的网页教学视频调整模型以适应内视图领域。

    Nov, 2023

  • Ego-Exo：将第三人称视频的视觉表示转移到第一人称视频

    本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法，通过在第三人称视频中发现预测自我特定属性的潜在信号，并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得 Charades-Ego 和 EPIC-Kitchens-100 的最新成果。

    Apr, 2021

  • 将自己置身于你的位置：解除来自非中心视频的以自我为中心的视角

    研究探讨外心 - 内心跨视角转换，提出一种名为 Exo2Ego 的生成框架，将转换过程分解为高层次结构转换和基于扩散的像素级幻觉，为未来进一步的发展提供了一个综合的外心 - 内心跨视角转换基准，并通过实验证实了 Exo2Ego 在生成仿真质量和泛化能力方面优于其他基准。

    Mar, 2024

  • EgoExo-Fitness: 走向自视角和他视角的全身动作理解

    我们呈现了 EgoExo-Fitness，这是一个全新的全身动作理解数据集，通过同步的自主和固定的第三人称摄像机记录了健身序列视频。与现有的全身动作理解数据集相比，EgoExo-Fitness 不仅包含第一人称视角的视频，还提供了丰富的注释，包括单个动作视频的两级时间界限以及每个动作的子步骤等。重要的是，EgoExo-Fitness 引入了新颖的注释，包括技术关键点验证、对动作执行的自然语言评论以及动作质量评分，为研究自主和固定视角下全身动作理解提供了新的资源。为了促进对自主和固定视角下全身动作理解的研究，我们构建了一套任务基准（即动作分类、动作定位、跨视图序列验证、跨视图技能判断和新提出的基于指导的执行验证任务），并进行了详细分析。代码和数据将在此 https URL 提供。

    Jun, 2024

  • 基于轨迹对齐的特征用于第一人称动作识别

    该研究旨在研究在第一人称视角下，如何准确识别行为。为此，提出了一种新颖的特征轨迹表示方法，并且使用所提出的方法在公开数据集上实现了 11% 的性能提升，该方法可以识别出佩戴者的各种行为，且不需要分割手 / 物体或识别物体 / 手的姿态。

    Apr, 2016

  • 弱监督动作标注的连接时序建模

    我们提出了一种弱监督的框架，用于视频中的动作标注，其中只在训练时间需要发生动作的顺序。通过引入扩展的连接组态分类（ECTC）框架来解决每帧对齐的问题，从而有效地评估所有可能的对齐。我们进一步将我们的框架扩展到在视频中稀疏地注释了一些帧的半监督情况下。使用不到 1％的标记帧数的情况下，我们的方法能够胜过现有的半监督方法，并实现与完全监督方法相当的性能。

    Jul, 2016

  • 基于时间连接序列的自我中心视频描述

    本研究旨在利用一种新的方法，即多态输入的注意力循环网络，来描述自我中心影像序列的故事情节，并发布了第一个自我中心影像序列描述数据集，该方法的表现优于传统的注意力编码器 - 解码器方法。

    Apr, 2017

  • 跨视角外心到本体中心视频合成

    本篇论文提出了一种基于 Bi-directional Spatial Temporal Attention Fusion Generative Adversarial Network（STA-GAN）的方法，通过多阶段处理，将 Exocentric view 视频序列转换为 Egocentric 视角，通过在时空注意力融合模块和双重鉴别器的作用下产生高质量的合成视频。在 Side2Ego 和 Top2Ego 数据集上的实验证明，该方法优于现有方法。

    Jul, 2021