我们提出了 Ego-Exo4D，这是一个多样化、大规模的多模态多视图视频数据集和基准挑战。Ego-Exo4D 集中于同时捕捉到的技能人类活动（例如，体育运动、音乐、舞蹈、自行车修理）的自我中心和外部视角视频，通过来自全球 13 个城市的 800 多名参与者在 131 个不同的自然场景环境中进行了这些活动，每个活动的长时间录制为 1 到 42 分钟不等，总共获得了 1,422 小时的视频。该数据集具有前所未有的多模态特性：视频伴随着多通道音频、眼动数据、3D 点云、相机姿态、IMU 数据以及多个配对的语言描述，包括由教练和教师进行的针对技能活动领域的新颖的 “专家评论”。为了推进对技能人类活动的第一人视角视频理解的研究前沿，我们还提出了一系列基准任务及其标注，包括细粒度活动理解、熟练度估计、跨视角转换和 3D 手 / 身体姿态。所有资源将以开源方式提供，以促进社区中的新研究。

Nov, 2023

通过记录日常生活中的主体视角视频和示范视频，并提供高质量凝视数据和详细的多模态注释，EgoExoLearn 数据集旨在模拟人类桥接不同视角中的异步过程性动作的能力，并提供了跨视角关联、跨视角行动规划和跨视角技能评估等基准，为观察现实世界中的人类而无缝学习的 AI 代理创造了可能性。

Mar, 2024

本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法，通过在第三人称视频中发现预测自我特定属性的潜在信号，并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得 Charades-Ego 和 EPIC-Kitchens-100 的最新成果。

Apr, 2021

研究探讨外心 - 内心跨视角转换，提出一种名为 Exo2Ego 的生成框架，将转换过程分解为高层次结构转换和基于扩散的像素级幻觉，为未来进一步的发展提供了一个综合的外心 - 内心跨视角转换基准，并通过实验证实了 Exo2Ego 在生成仿真质量和泛化能力方面优于其他基准。

Mar, 2024

本文提出了一种 AE2 的自我监督嵌入方法，专门用于从 Ego-Exo 上下文的视角中学习不变的微观动作特征，并且在细粒度的视频理解任务中均表现出优异的性能。

Jun, 2023

提出了一种跨视角学习的方法，通过分析不同视角下的摄像机位置并引入基于几何约束的注意力机制，以加强深度学习模型在个人视频中的动作识别能力。实验证明这种方法在标准的个人视频动作识别基准测试中表现良好，并达到了最先进的性能。

May, 2023

提出了一种基于行动意图的自我转他视视频生成框架（IDE），通过利用包括人类运动和动作描述的行动意图作为视角无关表示指导视频生成，保留了内容和动作的一致性。

Mar, 2024

将一种最初设计用于固定摄像机的时间动作分割系统转移到身份摄像机的情景中，无需收集并标记新的以身份摄像机为主体的视频数据集来适应该模型。通过利用现有标记的以外离摄像机视频和一套新的未标记、同步的以外离 - 以身份摄像机视频对，我们提出了一种新的方法论来进行适应。我们基于知识蒸馏的方法实现了该方法论，从特征和模型两个层面进行了研究。在 Assembly101 数据集上评估我们的方法，结果表明该方法与经典的无监督领域适应和时间序列对齐方法相比是可行和有效的。值得注意的是，我们最好的模型在不需要看到任何以身份摄像机标签的情况下，在 Assembly101 数据集上的编辑得分比仅在以外离数据上训练的基线模型得到了 + 15.99% 的提高（28.59% vs 12.60%）。

Dec, 2023

从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的 EgoExoNCE 损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor 在第一人称视频字幕生成方面展现了显著的改进。

Jan, 2024

提出了一种用于稠密视频字幕的跨视图知识传递的新型基准，从具有外视图的网页教学视频调整模型以适应内视图领域。

Nov, 2023