从 RGB-D 数据中重构带有遮挡的 3D 人体姿势
利用 RGBD 图像估算 3D 人体姿态,通过关键点检测器和深度信息实现 3D 提升,在真实环境下通过学习演示框架指示服务机器人模仿人类教师的操作,超越了单眼调色板和深度姿态估计方法的性能。
Mar, 2018
通过使用空时图形来表示变形的人体,并引入一个细化网络,该网络在此图形上执行图形卷积以输出 3D 姿势,以确保对遮挡鲁棒性,通过使用一组二进制掩码训练此网络,并模拟某些关节在一段时间内可隐藏,并训练网络对此免疫,证明了该方法相对于从单摄像机序列推断姿势的最先进技术的有效性。
Feb, 2024
本文提出了一个新颖的框架,利用基于扩散的 2D 修复模型,通过填补物体隐藏部分的 2D 图像来重建完整的表面,以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明,我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。
Aug, 2023
本文提出了一种端到端可训练模型,以单个 RGB 图像感知 3D 场景,估计相机姿态和室内布局,并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失,我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知,这是第一个在网格级别输出对象和人体预测,并对场景和人体姿态进行联合优化的模型。
Dec, 2020
该研究旨在使用卷积神经网络检测和定位 RGB-D 场景中的物体,然后使用 3D 模型替换它们,相对于目前最先进的算法,该方法在 3D 检测任务中表现出 48%的相对改进,并且速度更快。
Feb, 2015
通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐,在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法,该学习方法实现了与现有基于优化的方法相当的三维重建质量,且不需要推理时间优化,适用于机器人导航等潜在应用中。
Jul, 2023
我们开发了一种方法来明确建模隐藏关节推理过程以显着增强有或无遮挡的人体姿势估计,将任务分为两个子任务:可见关键点检测和遮挡关键点推理,并提出了深度监督编码器蒸馏和骨架引导人体形状拟合来训练我们的模型,实验证明从遮挡中明确学习可以提高人体姿势估计的性能。
Jul, 2022
提出了一种基于场景的扩散方法,用于从自我感知的角度预测社交伴侣的姿态和形状,通过物理学基础碰撞评分进一步解决人 - 场景相互渗透,分类器自由训练使得在不同情况下可进行可扩展抽样,并具有更多的多样性,能够通过基于每个关节的可见性进行噪声去除,控制每个身体部位,实现了优秀的可见关节准确度和不可见身体部位的多样性。
Apr, 2023
研究单视图和部分遮挡视图下获取人体的密集三维重建问题,建议通过合适的三维模型参数化人体形状和姿势,学习一种多假设神经网络回归器,约束每个假设位于合理人体姿势的流形上,并且在标准 3D 人体基准和重度遮挡版本中,该方法表现出优异的处理模糊姿态恢复的性能。
Nov, 2020