Jan, 2024

检索增强的视觉第一人称视频字幕生成

PDF
TL;DR从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的 EgoExoNCE 损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor 在第一人称视频字幕生成方面展现了显著的改进。
发现论文，激发创造
  • Exo2EgoDVC：使用网络教育视频进行以自我为中心的程序性活动的密集视频标题生成

    提出了一种用于稠密视频字幕的跨视图知识传递的新型基准，从具有外视图的网页教学视频调整模型以适应内视图领域。

    Nov, 2023

  • Ego-Exo：将第三人称视频的视觉表示转移到第一人称视频

    本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法，通过在第三人称视频中发现预测自我特定属性的潜在信号，并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得 Charades-Ego 和 EPIC-Kitchens-100 的最新成果。

    Apr, 2021

  • 将自己置身于你的位置：解除来自非中心视频的以自我为中心的视角

    研究探讨外心 - 内心跨视角转换，提出一种名为 Exo2Ego 的生成框架，将转换过程分解为高层次结构转换和基于扩散的像素级幻觉，为未来进一步的发展提供了一个综合的外心 - 内心跨视角转换基准，并通过实验证实了 Exo2Ego 在生成仿真质量和泛化能力方面优于其他基准。

    Mar, 2024

  • 从外向内视角理解跨视角动作识别

    提出了一种跨视角学习的方法，通过分析不同视角下的摄像机位置并引入基于几何约束的注意力机制，以加强深度学习模型在个人视频中的动作识别能力。实验证明这种方法在标准的个人视频动作识别基准测试中表现良好，并达到了最先进的性能。

    May, 2023

  • 基于时间连接序列的自我中心视频描述

    本研究旨在利用一种新的方法，即多态输入的注意力循环网络，来描述自我中心影像序列的故事情节，并发布了第一个自我中心影像序列描述数据集，该方法的表现优于传统的注意力编码器 - 解码器方法。

    Apr, 2017

  • 通过时间对齐从未成对的自我 - 外在视频中学习细粒度视角不变表示

    本文提出了一种 AE2 的自我监督嵌入方法，专门用于从 Ego-Exo 上下文的视角中学习不变的微观动作特征，并且在细粒度的视频理解任务中均表现出优异的性能。

    Jun, 2023

  • 从第三人称到第一人称：综合与检索的数据集与基线模型

    本研究介绍了包含同时录制自我中心和外部中心视频的两个数据集（合成和自然 / 真实），首先使用条件生成对抗网络从外部中心领域合成自我中心领域的图像。 其次，我们解决了跨视图检索问题，并通过从合成域到自然 / 真实域的域适应来提高性能。

    Dec, 2018

  • 自我中心视频 - 语言预训练

    本文提出了一种新的视频语言预训练（Video-Language Pretraining）方法 ——Egocentric VLP，通过利用新发布的 Ego4D 数据集，分别从 EgoClip，EgoNCE 和 EgoMCQ 三个方向进行探索，最终成功在五个自我中心任务上实现了强大的表现。

    Jun, 2022

  • 我视角最优：从自我中心视频中学习的过程

    本文提出了一种使用基于第一人称视角拍摄的视频学习过程的框架，该框架可以在多个视频之间识别和利用关键步骤之间的时间对应关系，从而对过程进行学习。通过对两个基准数据集的实验，证明这一框架的性能优于现有的同类方法。此外，本文还提出了一个用于使用第一人称视角拍摄的视频进行过程学习的数据集。

    Jul, 2022

  • 传感器辅助的自我中心视频字幕生成与动态模态注意力

    本文提出了一种新的通过传感器增强的主观视频字幕生成任务，并提出了应用多模态数据和关注机制的方法，以提高主观视频字幕生成的效率。结果表明，使用传感器数据作为补充数据可以提高主观视频字幕生成的效率，并且我们提出的方法表现优于其他方法。

    Sep, 2021