通过提出一个名为 EgoHOIBench 的开放词汇基准测试，揭示了当前以对象为主而非时态动态的方法在精细概念上表现不佳，引入了一种新颖的针对 EgoHOI 的不对称对比目标 EgoNCE++，并改进了文本监督和视频聚合策略，有效地提高了开放词汇的 HOI 识别和动作识别任务的性能。

May, 2024

通过探测、策划和适应（EgoPCA）的方式，该论文重新思考并提出了一种新的基础框架，旨在推动主体与物体间的自我互动识别；论文提供了全面的预训练集、平衡测试集和新的基准，并通过训练微调的策略实现了与 Ego-HOI 基准的最新性能，同时构建了几种新的有效机制，推进进一步的研究，研究数据与发现将为自我互动理解铺就新的道路。

Sep, 2023

本研究发现相较于全局第三人称视角，手心视角可以提高物理操作的训练效率和泛化能力，并适用于各种算法、实验环境和分布转变。

Mar, 2022

理解以自我为中心的人 - 物互动是人类中心感知的一个基本方面，为增强现实 / 虚拟现实和具身人工智能等应用提供支持。本研究提出了 EgoChoir 方法，通过协调视觉外观、头部运动和 3D 对象的信息来挖掘物体互动概念和人类意图，并在以自我为中心的视频中推断 3D 人体接触和物体可供性，从而解决以自我为中心的视图中的人 - 物互动问题。

May, 2024

从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的 EgoExoNCE 损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor 在第一人称视频字幕生成方面展现了显著的改进。

Jan, 2024

通过分析 3D 手 - 物体重建任务，我们展示了针对以自我为中心相机的畸变、采用高容量转换器来学习复杂的手 - 物体交互以及融合来自不同视角的预测等方法的有效性，并揭示了最新方法难以解决的快速手部运动、窄视角下的物体重建以及两只手和物体之间的近距离接触等具有挑战性的场景。我们的工作将丰富该领域的知识基础，并促进未来关于以自我为中心手 - 物体交互的研究。

Mar, 2024

本文主要研究如何利用佩戴式摄像头所获得的数据进行行为识别。研究发现，使用卷积神经网络进行自我视角识别可以开辟行为识别领域的新研究视角。

Jun, 2019

本文介绍了 Charades-Ego 数据集，其中包含大量第一人称和第三人称的视频，帮助我们在第一人称和第三人称于视觉研究中建立联系，为建立第一人称视角的模型提供了数据支持。通过本数据集，我们成功地实现了从第三人称到第一人称的知识传递。

Apr, 2018

本文设计了一个框架来检测并预测视频中的人 - 物交互，并提出了使用人类注视信息、场景背景和人 - 物对的视觉外观等特征进行融合的时空变换器，并在 VidHOI 数据集上进行了模型训练和验证。

Jun, 2023

本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法，通过在第三人称视频中发现预测自我特定属性的潜在信号，并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得 Charades-Ego 和 EPIC-Kitchens-100 的最新成果。

Apr, 2021