ICCVSep, 2023

EgoPCA：一种新的用于理解视觉主观性手 - 物体交互的框架

PDF
TL;DR通过探测、策划和适应（EgoPCA）的方式，该论文重新思考并提出了一种新的基础框架，旨在推动主体与物体间的自我互动识别；论文提供了全面的预训练集、平衡测试集和新的基准，并通过训练微调的策略实现了与 Ego-HOI 基准的最新性能，同时构建了几种新的有效机制，推进进一步的研究，研究数据与发现将为自我互动理解铺就新的道路。
egocentric hand-object interactionego-hoilarge-scale datasetsfirst- and third-person action videosegopca
发现论文，激发创造
  • EgoNCE++：以自我为中心的视觉 - 语言模型真正理解手 - 物互动吗？

    通过提出一个名为 EgoHOIBench 的开放词汇基准测试，揭示了当前以对象为主而非时态动态的方法在精细概念上表现不佳，引入了一种新颖的针对 EgoHOI 的不对称对比目标 EgoNCE++，并改进了文本监督和视频聚合策略，有效地提高了开放词汇的 HOI 识别和动作识别任务的性能。

    May, 2024

  • EgoChoir：从自我中心视角捕捉 3D 人物 - 物体互动区域

    理解以自我为中心的人 - 物互动是人类中心感知的一个基本方面，为增强现实 / 虚拟现实和具身人工智能等应用提供支持。本研究提出了 EgoChoir 方法，通过协调视觉外观、头部运动和 3D 对象的信息来挖掘物体互动概念和人类意图，并在以自我为中心的视频中推断 3D 人体接触和物体可供性，从而解决以自我为中心的视图中的人 - 物互动问题。

    May, 2024

  • H+O：一体化自我为中心的三维手部 - 物体姿态和交互识别

    在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

    Apr, 2019

  • POV: 在多视角世界中面向提示的视角无关学习用于主观视角手 - 物体交互

    我们提出了一种基于提示导向的视角无关学习框架，通过少量的自我视角视频实现从第三人称视角到第一人称视角的视角适应，通过交互式遮罩和视角感知提示来捕捉精细的动作信息和学习视角无关的表示，实验证明了我们的方法在视角适应和视角泛化方面的高效性和有效性。

    Mar, 2024

  • 细粒度自我中心手部 - 物体分割：数据集、模型和应用

    本文提供了一种具有像素级细分标签的 egocentric 图像数据集，其中包含 11,243 个日常活动中与对象相互作用时人手和对象的标签数据。我们引入了上下文感知的组合数据增强技术以适应分布外的 YouTube egocentric 视频，并展示了我们坚韧的手物分割模型和数据集可以作为基础工具，促进或实现手势状态分类、视频活动识别、手物交互的 3D 网格重建，以及对 egocentric 视频中的手物前景进行视频修复。

    Aug, 2022

  • HOI4D：一个用于类别级别的人 - 物交互的四维自我中心数据集

    介绍了 HOI4D 数据集，该数据集具有丰富的注释，包含了大规模的 4D 视觉信号和人类 - 物体交互类别级别的注释，并建立了三个基准任务来促进该领域的进一步研究。

    Mar, 2022

  • 我的视角，我的双手：准确的自视角二维手势姿态和动作识别

    通过探索 2D 手势姿态评估用于自我中心动作识别的领域，我们提出了两种新方法：EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角，捕捉手部与物体之间的交互。同时，我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估，我们的架构具有更快的推断时间，并且分别达到了 91.32% 和 94.43% 的精度，超越了包括基于 3D 的方法在内的最先进的技术。

    Apr, 2024

  • 利用人手作为交互式物体理解的探针

    通过观察手在自然野外环境下的视频，本文致力于实现交互对象的理解，成功地应用这一基本原则于 EPIC-KITCHENS 数据集，从而纯粹通过观察手在自我中心视角的视频中学习状态敏感特征和对象特性。

    Dec, 2021

  • 自我中心手与物体的姿态估计中的基准和挑战

    通过分析 3D 手 - 物体重建任务，我们展示了针对以自我为中心相机的畸变、采用高容量转换器来学习复杂的手 - 物体交互以及融合来自不同视角的预测等方法的有效性，并揭示了最新方法难以解决的快速手部运动、窄视角下的物体重建以及两只手和物体之间的近距离接触等具有挑战性的场景。我们的工作将丰富该领域的知识基础，并促进未来关于以自我为中心手 - 物体交互的研究。

    Mar, 2024

  • 以自我为中心的手部跟踪和基于对象的人类动作识别

    该论文研究了从第一人称视角获取图像和视频的发展趋势，采用图像识别和区域跟踪技术进行视觉场景中手的识别和动作的分类，表明使用区域兴趣描述视频的信息可以被依靠，来对与手有关的人体动作进行分类。

    May, 2019