Dec, 2023

重新审视人 - 场景交互的空间占用

PDF
TL;DR人 - 场景交互生成是一项具有挑战性且关键的任务，但是受到有限的数据规模的限制。通过将纯运动序列视作与不可见场景占用交互的记录，利用大规模配对的数据集 Motion Occupancy Base（MOB），我们提出了一种新的人 - 占有交互的统一视角。在 MOB 上训练的单个运动控制器可以处理狭窄的场景，并在复杂度有限的一般场景中具有良好的泛化性。我们的方法可以在各种场景中生成逼真且稳定的人 - 场景交互动作。
human-scene interactiondata scalehuman-occupancy interactionmotion occupancy basemotion controller
发现论文，激发创造
  • 针对视觉环境重建的人类感知物体放置

    通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。

    Mar, 2022

  • HUMANISE: 3D 场景中基于语言条件的人类运动生成

    提出了一个名为 HUMANISE 的大规模、语义丰富的合成 HSI 数据集，并开展了一项名为 Language-conditioned Human Motion Generation 的新一代任务，以及相应的在场景和语言指导下的生成模型，该模型能够在 3D 场景中产生多样化且语义一致的人体动作。

    Oct, 2022

  • 学习人 - 场景交互生成 3D 场景

    本文提出了 POSA 模型，用来学习人体与场景的交互，包括接触概率和语义场景标签，并展示了其在 3D 人物自动放置和一致的单目人体姿态估计方面的改进。

    Dec, 2020

  • 通过提示的接触链实现的统一人 - 场景交互

    该研究论文介绍了一个名为 UniHSI 的统一 HSI 框架，该框架通过语言命令支持多种互动的统一控制，旨在解决多样性交互控制和用户友好界面的问题。通过将语言提示翻译成 CoC 形式的任务计划，再将其转化为统一的任务执行，证明了该框架在多样性任务执行和对实际扫描场景的普适性中的有效性。

    Sep, 2023

  • SportsHHI：体育视频中人际互动检测数据集

    我们提出了一个新的视频视觉关系检测任务：视频人际互动检测，并构建了一个名为 SportsHHI 的数据集。该数据集包含来自篮球和排球运动的 34 个高级互动类别。我们希望 SportsHHI 能够刺激对视频中人际互动理解的研究，并促进视频视觉关系检测中关于时空上下文建模技术的发展。

    Apr, 2024

  • 利用场景图进行人 - 物互动检测

    提出了一种利用场景图信息进行人 - 物交互（SG2HOI）检测的新方法，该方法通过全局背景信息和关系感知信息传递模块，利用图像中高级和语义的人物和物体关系，通过两种方式将场景图信息融入到 “人 - 物交互” 检测任务中，表现优于两个基准 HOI 数据集上的最新方法。

    Aug, 2021

  • HOI-M3：在情境环境中捕捉多个人物和物体的互动

    该研究介绍了一种用于建模多个人与多个物体互动的新型大规模数据集 HOI-M3，通过准确的三维跟踪，从密集的 RGB 和物体安装的 IMU 输入中覆盖了 199 个序列和 181M 帧的多样化人和物体的活动。该数据集提出了两个新的数据驱动任务，并提供了强大的基线模型，用于捕捉和生成多个人与物体之间的互动。通过广泛的实验证明了该数据集对于进一步研究多个人与物体的互动和行为分析具有挑战性和重要价值。该数据集和相关代码、预训练模型将向研究社区进行传播，以供未来研究使用。

    Mar, 2024

  • 扩展动态人 - 场景交互建模

    通过引入 TRUMANS 数据集和一种新颖的 HSI 运动合成方法，我们克服了数据稀缺和高级动作合成在人类 - 场景交互建模中的挑战。我们的方法采用扩展的扩展的物理环境模型和外观运动增强技术，使 TRUMANS 数据集成为目前最全面的 HSI 数据集，能够生成任意长度的 HSI 序列，并在各种 3D 场景数据集上表现出优异的泛化能力。

    Mar, 2024

  • HSPACE：在复杂环境中动态合成参数人形

    通过构建大规模逼真人体运动数据集，对合成与真实数据进行综合分析，以提高在多人实际场景下的人体姿态及形状识别技术应用的效果。

    Dec, 2021

  • 按照意图交互：意图驱动的人 - 物交互检测

    该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

    Aug, 2018