本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法，通过在第三人称视频中发现预测自我特定属性的潜在信号，并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得 Charades-Ego 和 EPIC-Kitchens-100 的最新成果。

Apr, 2021

本文介绍了 Charades-Ego Dataset，它是一个大规模的第一人称和第三人称视频数据集，包含 68.8 小时、68536 个活动实例，并且具有时间注释和文本描述，适用于第一人称视角下的视频分类、定位、字幕等任务，以及跨模态数据的新任务。

Apr, 2018

本文提出了一种新的半孪生卷积神经网络架构，以解决第一人称和第三人称视频之间的人物层面的对应关系问题，在关注联合场景理解，物体追踪和活动识别方面有显着的性能提升。

Apr, 2017

本文提出了一种基于学习的方法，通过与另一个人的互动来估计身穿相机人的三维身体姿态，演示了我们的想法在多个领域的相关应用和视频实现。

Apr, 2019

本文主要研究如何利用佩戴式摄像头所获得的数据进行行为识别。研究发现，使用卷积神经网络进行自我视角识别可以开辟行为识别领域的新研究视角。

Jun, 2019

本文利用第一视角摄像头，提出了一种称为 “action-objects” 的概念，并使用 EgoNet 设计了一个预测模型来检测 action-objects。实验表明，该模型在检测 action-objects 方面比之前的基线方法表现更好，具有较强的泛化能力。

Mar, 2016

从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的 EgoExoNCE 损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor 在第一人称视频字幕生成方面展现了显著的改进。

Jan, 2024

该研究旨在研究在第一人称视角下，如何准确识别行为。为此，提出了一种新颖的特征轨迹表示方法，并且使用所提出的方法在公开数据集上实现了 11% 的性能提升，该方法可以识别出佩戴者的各种行为，且不需要分割手 / 物体或识别物体 / 手的姿态。

Apr, 2016

通过选择适当的视角从有限的信息中获取专家行为进行第三方模仿学习，并使用生成对抗网络的主动学习方法来理论分析和实证研究其特性和对学习者性能的重要性。

Dec, 2023

本文提出了一种从篮球运动员的第一人称视频中预测其未来运动轨迹 (位置和视线方向) 的方法，该方法利用了第一人称视频中独特的学习信号和 3D 重建技术，通过 Siamese 神经网络和长期循环卷积网络实现了对未来运动的预测。

Nov, 2016