CVPRMar, 2022

针对视觉环境重建的人类感知物体放置

PDF
TL;DR通过利用人与场景的交互可有效提高单目视频的 3D 场景重建，同时优化人的姿态估计，本论文基于三种 HSI 约束条件，即深度排序、是否穿插目标、接触面，使用优化方法再形成一致、物理合理且功能性 3D 场景布局，并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。
发现论文，激发创造
  • 学习人 - 场景交互生成 3D 场景

    本文提出了 POSA 模型，用来学习人体与场景的交互，包括接触概率和语义场景标签，并展示了其在 3D 人物自动放置和一致的单目人体姿态估计方面的改进。

    Dec, 2020

  • 从单幅图像中感知野外 3D 人体 - 物体空间排列

    本文提出了一种在非受控环境下从野外拍摄的单张图像中推断人类和物体的空间布局和形状的方法，并证明了尝试联合考虑人类和物体可以通过引入 3D 常识约束来减少可能的 3D 空间配置。

    Jul, 2020

  • 重新审视人 - 场景交互的空间占用

    人 - 场景交互生成是一项具有挑战性且关键的任务，但是受到有限的数据规模的限制。通过将纯运动序列视作与不可见场景占用交互的记录，利用大规模配对的数据集 Motion Occupancy Base（MOB），我们提出了一种新的人 - 占有交互的统一视角。在 MOB 上训练的单个运动控制器可以处理狭窄的场景，并在复杂度有限的一般场景中具有良好的泛化性。我们的方法可以在各种场景中生成逼真且稳定的人 - 场景交互动作。

    Dec, 2023

  • 利用三维场景约束解决三维人体姿态歧义

    该研究通过利用场景结构、建立人体与场景之间的 “临近关系与对象排除法” 来更好地从单眼图像中估计人体姿势，并显示引入场景约束可以显著减少 3D 关节误差和顶点误差。

    Aug, 2019

  • 基于对抗学习方法的单目 RGB 图像实际可行的三维人类场景重建

    通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐，在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法，该学习方法实现了与现有基于优化的方法相当的三维重建质量，且不需要推理时间优化，适用于机器人导航等潜在应用中。

    Jul, 2023

  • 利用人类语境学习 3D 场景中的物品摆放

    本研究基于物体的易用性、可达性和相对人体姿态的关系，通过 3D 空间特征和 Dirichlet 过程混合模型学习场景中不同物体相对人体姿态的分布情况，并以此作为推理对象，通过合适的密度函数，预测物体在房间中的正确放置位置。实验证明，与最佳基线方法相比，该算法的平均误差小于 1.6 米，分数达到 4.3/5。

    Jun, 2012

  • 使用单个 RGB 相机进行可见性感知的人体 - 物体交互追踪

    该研究提出了一种基于神经网络和 SMPL 模型的新方法，用于通过一个单一的 RGB 摄像机跟踪三维人体、物体及其相对位移，且能够在强遮挡情况下保持稳健性。

    Mar, 2023

  • 感知人类：从单目 3D 定位到社交距离

    提出了一种成本效益高的基于视觉的方法，通过神经网络预测置信区间而非点估计来解决单眼 3D 任务中的挑战，从而能够有效识别交通系统中的人体姿态及其所在位置，并探讨了其在社交互动、安全等多个方面的应用。

    Sep, 2020

  • Holistic++ 场景理解：单视角三维全局场景解析和人体姿势估计，带人物 - 物品交互和物理常识

    该研究提出一种新的 3D 全局场景理解问题，旨在同时解决物体检测和重建、人体姿态估计，并利用人物 - 物体交互和物理常识优化场景的表现，最后使用马尔可夫蒙特卡罗方法，显著提高了算法的性能。

    Sep, 2019

  • 获取和推断密集全身人 - 场景接触

    该研究通过构建一个新的名为 RICH 的数据集，使用 BSTRO 算法从单幅 RGB 图像中直接预测人体与场景的接触，在探索图像中覆盖的区域时，提出了一种新的非局部关系学习方法，并且通过实验证明了其比之前的方法具有更好的性能质。

    Jun, 2022