CVPRJun, 2023

物体弹出：是否可以仅从人类交互中推断出 3D 物体及其姿态？

PDF
TL;DR通过人类互动来推断三维物体及其姿势是可能的，即使用户只是在模仿功能而没有实体物体，此方法对 XR / VR 应用是可行的。
object affordanceshuman posescomputer vision3d object inferencexr/vr
发现论文，激发创造
  • 从单幅图像理解 3D 物体交互

    本文提出一种基于 Transformer 的模型以实现机器的多物体理解，物体控制及 3D 场景探索，主要方法为预测物体的 3D 位置，物理属性及可访问性，通过自己收集和验证数据集来证明该模型对网络视频，比如第一人称视角视频和室内图像产生较好泛化能力。

    May, 2023

  • 将人类置于场景中：学习 3D 室内环境中的可支配性

    本论文探讨了在三维室内场景中预测人类动作所需的可负担性建模技术，并通过引入语义和几何结构来创建大规模数据集合并使用三维姿态合成器预测出语义合理的人体姿态。最终的可负担性预测方法能够持续胜过现有的最新方法。

    Mar, 2019

  • 从 RGB 视频中构建 3D 人物 - 物体关系：方法和挑战的实证分析

    研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态，通过系统性实验验证了五种方法的可行性，结果显示这一任务具有很大挑战性并提出了未来工作方向。

    Sep, 2022

  • 从单幅图像中感知野外 3D 人体 - 物体空间排列

    本文提出了一种在非受控环境下从野外拍摄的单张图像中推断人类和物体的空间布局和形状的方法，并证明了尝试联合考虑人类和物体可以通过引入 3D 常识约束来减少可能的 3D 空间配置。

    Jul, 2020

  • 几何姿态可供性：带场景约束的三维人体姿态

    通过使用基于视觉的场景几何形状信息，我们提出了一种用于改善人体姿态估计的新颖机制：多层深度图。我们展示了这种方法可以提高 3D 姿态估计的精度。

    May, 2019

  • CHORUS: 学习从无限合成图像中的规范化三维人体 - 物体空间关系

    我们提出了一种教导机器以自监督方式理解并建模多种 3D 人物 - 物体相互作用的基础空间常识的方法。我们利用生成模型生成高质量的 2D 图像，并展示了这些合成图像足以学习 3D 人物 - 物体之间的空间关系。

    Aug, 2023

  • 针对视觉环境重建的人类感知物体放置

    通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。

    Mar, 2022

  • Pose2Room：从人类活动中理解 3D 场景

    本研究使用穿戴式 IMU 传感器，基于人的运动轨迹在真实环境中构建概率三维模型，通过 P2R-Net 模型扩展多模态的物体配置，不需要视觉信息即可准确地评估人物结构和场景中的物品结构，并在 PROX 数据集和 VirtualHome 平台上表现优异。

    Dec, 2021

  • 学习人 - 场景交互生成 3D 场景

    本文提出了 POSA 模型，用来学习人体与场景的交互，包括接触概率和语义场景标签，并展示了其在 3D 人物自动放置和一致的单目人体姿态估计方面的改进。

    Dec, 2020

  • 利用常识先验知识重建动作条件下的人 - 物互动

    本研究通过应用基于 GPT-3 的大型语言模型的先验知识来推断人 - 物互动的多样化三维模型，通过提出一种基于行为调节模型的互动建模方法实现了对各种物体类别和互动类型的三维推理，从文本启示中推理人 - 物接触的关键洞察是大型文本模型能够帮助推理。通过在大型人 - 物互动数据集上进行定量评估，表明该方法可以产生更好的 3D 重建结果，并进一步在真实图像上进行定性评估，展示了其在互动类型和物体类别方面的普适性。

    Sep, 2022