Aug, 2023

开启自我中心行动的词汇

PDF
TL;DR本文提出了一种新颖的开放词汇动作识别任务，在训练期间观察到的动词和物体的基础上，通过一个与物体无关的动词编码器和一个基于提示的物体编码器来将动词和物体预测分离，借助 CLIP 表示来预测一组相互作用的对象的开放词汇。在 EPIC-KITCHENS-100 和 Assembly101 数据集上创建了开放词汇基准，而闭合动作方法无法泛化，我们提出的方法非常有效。此外，我们的物体编码器在识别新的相互作用物体方面显著优于现有的开放词汇视觉识别方法。
egocentric videoshand-object interactionsopen vocabulary action recognitionclip representationsobject encoder
发现论文，激发创造
  • 利用多任务学习提升自我中心行为识别

    本文提出了一种使用多任务学习的方法，通过并行训练网络来提高动作识别的准确率，并同时实现手部和凝视估计的辅助任务。在多个数据集上的实验证明，该方法在动作识别上的性能明显优于单任务学习模型，并可以准确预测手部和凝视位置。

    Sep, 2019

  • 以自我为中心的手部跟踪和基于对象的人类动作识别

    该论文研究了从第一人称视角获取图像和视频的发展趋势，采用图像识别和区域跟踪技术进行视觉场景中手的识别和动作的分类，表明使用区域兴趣描述视频的信息可以被依靠，来对与手有关的人体动作进行分类。

    May, 2019

  • 通过视频注意力和时间上下文进行自我中心动作识别

    这篇文章介绍了三个方法：动作识别、动词和名词分类以及空间 - 时间视频注意力模型来解决小动态物体、复杂手部物体交互和遮挡等挑战。

    Jul, 2020

  • 生成用于开放词汇视频动作识别的动作条件提示

    通过创新地将视频模型与大型语言模型相结合，本研究采用基于行动条件的提示方法来增强文本嵌入的人类先验知识，从而在开放词汇视频动作识别中实现了新的最佳性能，并具有优越的可解释性。

    Dec, 2023

  • 以物体为中心的视频表示对长期行动预测

    本文旨在建立面向视频中长期动作预测的物体中心表示。我们提出利用视觉 - 语言预训练模型构建物体中心视频表示，通过 “物体提示” 从通用预训练模型中提取任务特定的物体中心表示。我们使用基于 Transformer 的神经架构来识别和预测人 - 物交互，并在 Ego4D、50Salads 和 EGTEA Gaze + 基准测试上进行了广泛评估，定量和定性结果证实了我们提出方法的有效性。

    Oct, 2023

  • 看和听自我的行动：我们能学到多少？

    本文提出了一种基于音频和视觉信息的厨房环境中的多模态方法，利用稀疏时间采样策略，通过音频、空间和时间流的后期融合，在 EPIC-Kitchens 数据集上实验表明多模态方法比单模态方法更好地提高了动作识别性能，特别是在动词分类上实现了 5.18% 的改进。

    Oct, 2019

  • EPIC-KITCHENS 数据集：收集、挑战和基准

    本文介绍了 EPIC-KITCHENS 数据集的构建，该数据集具有大规模、种类多样的人们在厨房的日常行为记录，并且由多名来自不同国籍的参与者拍摄，其中所有视频都进行了密集注释和真实意图的讲述，并使用了多模态建模等基础线和新基础线进行了评估。

    Apr, 2020

  • EgoNCE++：以自我为中心的视觉 - 语言模型真正理解手 - 物互动吗？

    通过提出一个名为 EgoHOIBench 的开放词汇基准测试，揭示了当前以对象为主而非时态动态的方法在精细概念上表现不佳，引入了一种新颖的针对 EgoHOI 的不对称对比目标 EgoNCE++，并改进了文本监督和视频聚合策略，有效地提高了开放词汇的 HOI 识别和动作识别任务的性能。

    May, 2024

  • 物体感知的自我中心在线动作检测

    通过整合特定于自我中心视频的先验知识到现有的在线行动检测框架中，我们引入了一个物体感知模块，以提高第一人称视频解释的场景理解和行动检测性能。

    Jun, 2024

  • ALGO：基于物体纳入的视觉常识推理用于开放世界自我中心动作识别

    在开放环境中学习推断标签，即在目标 “标签” 未知的情况下，是实现自主性的重要特征。我们提出了一种神经符号框架（ALGO），通过使用存储在大规模知识库中的符号知识，在仅有有限监督的情况下，推断自心视角视频中的活动。

    Jun, 2024