使用单个 RGB 相机进行可见性感知的人体 - 物体交互追踪
研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态,通过系统性实验验证了五种方法的可行性,结果显示这一任务具有很大挑战性并提出了未来工作方向。
Sep, 2022
通过利用人与场景的交互可有效提高单目视频的 3D 场景重建,同时优化人的姿态估计,本论文基于三种 HSI 约束条件,即深度排序、是否穿插目标、接触面,使用优化方法再形成一致、物理合理且功能性 3D 场景布局,并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。
Mar, 2022
本文提出一种新方法,通过引入 2D 遮挡澄清和物理接触约束,从而处理遮挡下的表面重建问题,该方法在测试集上表现优于现有方法,HO3D 效果提高了 52%,HOD 效果提高了 20%。
Dec, 2023
本文提出了一种从单个 RGB 视频自动重建与对象的人交互的 3D 运动的方法,估计人和物体的 3D 姿势,接触位置,被人类肢体激活的力和扭矩,方法主要集中在联合估计运动和动作力,运用大规模的轨迹优化问题,并且从输入视频自动识别出人与物体或地面之间的接触位置和时间,于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。
Apr, 2019
本文提出了一种基于 RGB-D 视频序列的多目标跟踪方法,通过联合推断目标的完整几何形状和跟踪它们来提高跟踪的稳健性,通过人工构建目标的视状图像,得到相同实例之间的额外对应关系,从而提高了跟踪的鲁棒性。实验结果表明该方法在动态目标跟踪方面取得了 state-of-the-art 的性能。
Dec, 2020
本论文提出了一种神经人体表现捕捉和渲染系统,以实现高质量的几何和逼真的纹理重建,尤其是在挑战性的人体物体交互场景下。通过执行分层场景解耦策略,同时进行体积重建和神经渲染人和物体,提出了交互感知的人 - 物捕捉方案,同时提出了以人为重点的物体跟踪,在自由视点下实现了高质量的几何和纹理重建。
Aug, 2021
该研究使用一种名为 CHORE 的新方法,通过学习从单个 RGB 图像中重建人和物体的神经重建来解决人和周围物体之间的交互问题,而不是像以往那样只考虑人与周围环境的孤立问题,并通过对深度进行合理的缩放操作,更高效地处理真实数据,实验结果证明相较于已有最佳方法 SOTA,该方法的联合重建表现更好。
Apr, 2022
本文提出了一种实时的手和物体姿态联合追踪方法,利用一个单独的 RGB-D 相机,通过 3D GMM 算法和创新的正则化策略,同时解决了遮挡、快速运动和手与物体重合的问题,辅以判别式手部部分分类和物体分割,实现了实时追踪。实验结果表明,该方法具有速度、准确性和鲁棒性。
Oct, 2016
通过对场景信息和先前知识进行建模,我们提出了一种新的方法来从 RGB-D 图像中重建带有遮挡的 3D 人体,通过建模可能的姿势空间并使用深度数据约束可见身体部分,我们的方法在 PROX 数据集上的实验结果表明,与其他方法相比,能够产生更准确和合理的结果。
Oct, 2023
本文提出了一种基于学习的模型,利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状,可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量,同时加入衣服和头发的形状,具有快速和准确的预测,这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习,可将可变数量的帧作为输入,即使仅有一张图像,也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。
Mar, 2019