本技术报告介绍了 Ego4D 挑战中对一组自我中心视频任务的关系进行探索的 EgoTask 翻译方法。我们提出利用已开发用于其他相关任务的现有模型，并设计一个任务翻译器，学习将辅助任务特征 “翻译” 为主要任务，以提高其性能。在没有对基线架构进行任何修改的情况下，我们提出的方法在两个 Ego4D 挑战赛中取得了竞争性的表现，在 “和我说话” 挑战中排名第一，在 PNR 关键帧定位挑战中排名第三。

Feb, 2023

为了将对视频流的整体感知有效地传递给智能机器，我们通过学习将概念关联和来自不同任务的抽象知识协同利用来学习新技能，提出了一种统一的视频理解方法，它结合了人类行为的共享时间建模和最小开销，支持多个下游任务及在学习新技能时的合作，并通过四个 Ego4D 基准测试表明了我们方法的有效性和高效性。

Mar, 2024

通过问题回答对现实生活中的个人行为视频进行对话式任务理解，以制定 EgoTaskQA 基准，并在其中对最先进的视频推理模型进行评估，以此引导视觉界朝着面向目标的视频理解和推理的方向前进。

Oct, 2022

本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法，通过在第三人称视频中发现预测自我特定属性的潜在信号，并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得 Charades-Ego 和 EPIC-Kitchens-100 的最新成果。

Apr, 2021

本文提出了一种使用多任务学习的方法，通过并行训练网络来提高动作识别的准确率，并同时实现手部和凝视估计的辅助任务。在多个数据集上的实验证明，该方法在动作识别上的性能明显优于单任务学习模型，并可以准确预测手部和凝视位置。

Sep, 2019

从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的 EgoExoNCE 损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor 在第一人称视频字幕生成方面展现了显著的改进。

Jan, 2024

提出了一种用于稠密视频字幕的跨视图知识传递的新型基准，从具有外视图的网页教学视频调整模型以适应内视图领域。

Nov, 2023

研究探讨外心 - 内心跨视角转换，提出一种名为 Exo2Ego 的生成框架，将转换过程分解为高层次结构转换和基于扩散的像素级幻觉，为未来进一步的发展提供了一个综合的外心 - 内心跨视角转换基准，并通过实验证实了 Exo2Ego 在生成仿真质量和泛化能力方面优于其他基准。

Mar, 2024

本文主要研究如何利用佩戴式摄像头所获得的数据进行行为识别。研究发现，使用卷积神经网络进行自我视角识别可以开辟行为识别领域的新研究视角。

Jun, 2019

本研究报告介绍了我们在 CVPR 2024 年的 EgoVis 挑战中的解决方案，包括 Ego4D 挑战中的五个赛道和 EPIC-Kitchens 挑战中的三个赛道。我们基于视频语言双塔模型，并利用我们精心组织的自我中心视频数据，推出了一种新颖的基础模型 EgoVideo，该模型专门针对自我中心视频的独特特点进行设计，并为我们的竞赛提交提供了强大支持。通过将 EgoVideo 适应到这些多样化任务中，展示了它在不同自我中心视频分析场景中的多功能性和有效性，展示了 EgoVideo 作为自我中心基础模型的强大表示能力。

Jun, 2024