本文介绍了 Charades-Ego 数据集，其中包含大量第一人称和第三人称的视频，帮助我们在第一人称和第三人称于视觉研究中建立联系，为建立第一人称视角的模型提供了数据支持。通过本数据集，我们成功地实现了从第三人称到第一人称的知识传递。

Apr, 2018

介绍了规模巨大的 “Ego4D” 自我中心视频数据集及其基准套件，它提供了来自全球 74 个地点和 9 个不同国家的 931 个独特摄像头佩戴者的 3,670 小时日常活动视频。该数据集的采集过程严格遵守隐私和伦理标准，并具有鲁棒的去识别程序。其中的一部分视频配有音频、环境的 3D 网格、注视点、立体声和 / 或来自多个自我中心摄像头的同步视频，提供了关于自我中心视觉体验的新的基准挑战。通过公开分享这个海量的注释数据集和基准测试套件，我们旨在推动第一人称感知的前沿。

Oct, 2021

我们提出了 Ego-Exo4D，这是一个多样化、大规模的多模态多视图视频数据集和基准挑战。Ego-Exo4D 集中于同时捕捉到的技能人类活动（例如，体育运动、音乐、舞蹈、自行车修理）的自我中心和外部视角视频，通过来自全球 13 个城市的 800 多名参与者在 131 个不同的自然场景环境中进行了这些活动，每个活动的长时间录制为 1 到 42 分钟不等，总共获得了 1,422 小时的视频。该数据集具有前所未有的多模态特性：视频伴随着多通道音频、眼动数据、3D 点云、相机姿态、IMU 数据以及多个配对的语言描述，包括由教练和教师进行的针对技能活动领域的新颖的 “专家评论”。为了推进对技能人类活动的第一人视角视频理解的研究前沿，我们还提出了一系列基准任务及其标注，包括细粒度活动理解、熟练度估计、跨视角转换和 3D 手 / 身体姿态。所有资源将以开源方式提供，以促进社区中的新研究。

Nov, 2023

本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法，通过在第三人称视频中发现预测自我特定属性的潜在信号，并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得 Charades-Ego 和 EPIC-Kitchens-100 的最新成果。

Apr, 2021

通过记录日常生活中的主体视角视频和示范视频，并提供高质量凝视数据和详细的多模态注释，EgoExoLearn 数据集旨在模拟人类桥接不同视角中的异步过程性动作的能力，并提供了跨视角关联、跨视角行动规划和跨视角技能评估等基准，为观察现实世界中的人类而无缝学习的 AI 代理创造了可能性。

Mar, 2024

从第一人称视角将文本表达与场景对象联系起来是开发具有环境意识并按照直观的文字指令行动的代理人的一项真正具有挑战性的能力。本文基于 Ego4D 的第一人称视频构建了广泛的基于视频的引用表达理解数据集：RefEgo，其中包括超过 12k 个视频剪辑和 41 小时的视频引用表达理解批注。通过将最先进的 2D 引用表达理解模型与对象跟踪算法相结合，我们实现了视频中对象的跟踪，即使在困难条件下：视频中的所指对象在视频中间变得超出视野或者视频中出现多个相似对象。

Aug, 2023

从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的 EgoExoNCE 损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor 在第一人称视频字幕生成方面展现了显著的改进。

Jan, 2024

EgoSchema 是一个用于评估现代视觉和语言系统长视频理解能力的非常长的视频问答数据集和基准测试。

Aug, 2023

基于现有的计算机视觉数据集和任务，本研究侧重于从自我的视角识别会话伙伴，并描述了一个合适的数据集，该数据集包含了 69 小时的多样化多对话场景的自我的视频，对每个个体分配了一个或多个对话伙伴，为我们的计算机视觉任务提供了标签。通过这个数据集，我们可以开发和评估用于识别会话伙伴和相关方法的算法。该研究为自我的视频分析在社交环境中的令人兴奋的进展做出贡献。

Jun, 2024

提出了 EgoHumans 数据集，用于改进以往单人或仅局限于室内的 egocentric human 3D 姿势估计和跟踪算法，利用可穿戴相机配备的眼镜的多视角构建全面的 egocentric multi-human 数据集，并采用多流变压器体系结构和显式 3D 空间推理来估计和跟踪人体姿态。

May, 2023