May, 2024

EgoChoir：从自我中心视角捕捉 3D 人物 - 物体互动区域

PDF
TL;DR理解以自我为中心的人 - 物互动是人类中心感知的一个基本方面，为增强现实 / 虚拟现实和具身人工智能等应用提供支持。本研究提出了 EgoChoir 方法，通过协调视觉外观、头部运动和 3D 对象的信息来挖掘物体互动概念和人类意图，并在以自我为中心的视频中推断 3D 人体接触和物体可供性，从而解决以自我为中心的视图中的人 - 物互动问题。
egocentric human-object interactionperception3d spaceegochoirobject affordance
发现论文，激发创造
  • EgoPCA：一种新的用于理解视觉主观性手 - 物体交互的框架

    通过探测、策划和适应（EgoPCA）的方式，该论文重新思考并提出了一种新的基础框架，旨在推动主体与物体间的自我互动识别；论文提供了全面的预训练集、平衡测试集和新的基准，并通过训练微调的策略实现了与 Ego-HOI 基准的最新性能，同时构建了几种新的有效机制，推进进一步的研究，研究数据与发现将为自我互动理解铺就新的道路。

    Sep, 2023

  • 自我中心视听物体定位

    本文提出了一个几何感知的时间聚合模块和级联特征增强模块来解决显式处理自我运动和消除视角移动对音视觉定位的影响，并通过自我监督学习开发 Epic Sounding Object 数据集评估模型，证明了我们的方法在以人为中心的视频中取得了最先进的对象定位性能，并可以推广到不同的音视觉场景。

    Mar, 2023

  • 一次性几何驱动的交互张量用于自我中心作用感知检测

    利用几何信息推断三维场景中的互动信息和可能性，并在机器人和增强现实场景中进行实验，结果表明可以在新颖信搏的环境下以快速率进行预测。

    Jun, 2019

  • 按照意图交互：意图驱动的人 - 物交互检测

    该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

    Aug, 2018

  • EgoNCE++：以自我为中心的视觉 - 语言模型真正理解手 - 物互动吗？

    通过提出一个名为 EgoHOIBench 的开放词汇基准测试，揭示了当前以对象为主而非时态动态的方法在精细概念上表现不佳，引入了一种新颖的针对 EgoHOI 的不对称对比目标 EgoNCE++，并改进了文本监督和视频聚合策略，有效地提高了开放词汇的 HOI 识别和动作识别任务的性能。

    May, 2024

  • POV: 在多视角世界中面向提示的视角无关学习用于主观视角手 - 物体交互

    我们提出了一种基于提示导向的视角无关学习框架，通过少量的自我视角视频实现从第三人称视角到第一人称视角的视角适应，通过交互式遮罩和视角感知提示来捕捉精细的动作信息和学习视角无关的表示，实验证明了我们的方法在视角适应和视角泛化方面的高效性和有效性。

    Mar, 2024

  • 以自我为中心的手部跟踪和基于对象的人类动作识别

    该论文研究了从第一人称视角获取图像和视频的发展趋势，采用图像识别和区域跟踪技术进行视觉场景中手的识别和动作的分类，表明使用区域兴趣描述视频的信息可以被依靠，来对与手有关的人体动作进行分类。

    May, 2019

  • HOI4D：一个用于类别级别的人 - 物交互的四维自我中心数据集

    介绍了 HOI4D 数据集，该数据集具有丰富的注释，包含了大规模的 4D 视觉信号和人类 - 物体交互类别级别的注释，并建立了三个基准任务来促进该领域的进一步研究。

    Mar, 2022

  • EgoBody: 穿戴设备中交互人体的形状与动作

    EgoBody 是一个新的大规模数据集，用于通过自我主观视角获取人类姿态、形状和运动的估计，数据集覆盖丰富的互动场景，估计社交伙伴的 3D 全身姿态和形状。

    Dec, 2021

  • 基于 3D 地图的自我中心活动识别及定位

    提出了一种基于深度概率模型的方法，结合视角与环境信息，实现对运动轨迹和动作识别的 3D 场景理解与定位

    May, 2021