本研究介绍了包含同时录制自我中心和外部中心视频的两个数据集（合成和自然/真实），首先使用条件生成对抗网络从外部中心领域合成自我中心领域的图像。 其次，我们解决了跨视图检索问题，并通过从合成域到自然/真实域的域适应来提高性能。

Dec, 2018

本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法, 通过在第三人称视频中发现预测自我特定属性的潜在信号, 并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得Charades-Ego和EPIC-Kitchens-100的最新成果。

Apr, 2021

本文提出了一种新的视频语言预训练（Video-Language Pretraining）方法——Egocentric VLP，通过利用新发布的Ego4D数据集，分别从EgoClip，EgoNCE和EgoMCQ三个方向进行探索，最终成功在五个自我中心任务上实现了强大的表现。

Jun, 2022

本文提出了一种AE2的自我监督嵌入方法，专门用于从Ego-Exo上下文的视角中学习不变的微观动作特征，并且在细粒度的视频理解任务中均表现出优异的性能。

Jun, 2023

本文提出了一种新颖的开放词汇动作识别任务，在训练期间观察到的动词和物体的基础上，通过一个与物体无关的动词编码器和一个基于提示的物体编码器来将动词和物体预测分离，借助CLIP表示来预测一组相互作用的对象的开放词汇。在EPIC-KITCHENS-100和Assembly101数据集上创建了开放词汇基准，而闭合动作方法无法泛化，我们提出的方法非常有效。此外，我们的物体编码器在识别新的相互作用物体方面显著优于现有的开放词汇视觉识别方法。

Aug, 2023

提出了一种用于稠密视频字幕的跨视图知识传递的新型基准，从具有外视图的网页教学视频调整模型以适应内视图领域。

Nov, 2023

从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了EgoInstructor模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的EgoExoNCE损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor在第一人称视频字幕生成方面展现了显著的改进。

Jan, 2024

研究探讨外心-内心跨视角转换，提出一种名为Exo2Ego的生成框架，将转换过程分解为高层次结构转换和基于扩散的像素级幻觉，为未来进一步的发展提供了一个综合的外心-内心跨视角转换基准，并通过实验证实了Exo2Ego在生成仿真质量和泛化能力方面优于其他基准。

Mar, 2024

通过提出一个名为EgoHOIBench的开放词汇基准测试，揭示了当前以对象为主而非时态动态的方法在精细概念上表现不佳，引入了一种新颖的针对EgoHOI的不对称对比目标EgoNCE++，并改进了文本监督和视频聚合策略，有效地提高了开放词汇的HOI识别和动作识别任务的性能。

May, 2024

本研究针对自我中心视频分析中的任务碎片化问题，提出了EAGLE模型和EAGLE-400K数据集，旨在提供一个统一的框架来整合多种视频理解任务。EAGLE是一个强大的多模态大语言模型，能够有效捕捉空间和时间信息，其在多个任务上的出色表现，展示了其在现实世界应用中的潜在价值。

Sep, 2024