AAAINov, 2022

基于单目摄像机和单线激光雷达的大规模场景弱监督三维多人姿态估计

PDF
TL;DR本文提出了一种基于单目摄像头和单个 LiDAR 的方法，用于大规模场景下的 3D 多人姿态估计。通过设计一种有效的多模态融合策略，并充分利用时间信息来指导网络学习自然和连贯的人类运动，以点云的固有几何约束为自我监督，用图像上的 2D 特征点进行弱监督，无需依赖于任何 3D 姿态注释。实验结果表明了该方法的优越性和泛化能力。
depth estimationlidarmulti-person pose estimationmonocular camerapoint cloud
发现论文，激发创造
  • 基于弱深度监督的多人绝对三维人体姿态估计

    本文提出了一种利用 RGB-D 图像进行弱监督训练的网络，用于多人绝对姿态估计，可缓解缺乏大规模、多样化数据集的问题，并在多个数据集中实现了持续的错误率改进与在 MuPoTS-3D 数据集上的全球领先结果

    Apr, 2020

  • 基于人匹配和无监督 2D-3D 提升的实时全向三维多人姿势估计的改进

    本文介绍了一种首个能够在实时环境中处理基本遮挡、能够适应 360 度全景相机和毫米波雷达传感器的多人姿态估计系统，通过使用实时的轻量级 2D-3D 姿态提升算法，在室内外环境中实现了准确的性能表现，提供了一种经济实惠且可扩展的解决方案，并且不论检测到的个体数量如何，系统的时间复杂度保持几乎恒定，能够在商用 GPU 的笔记本上达到大约 7-8 帧每秒的帧率。

    Mar, 2024

  • HPERL：基于 RGB 和 LiDAR 的三维人体姿态估计

    使用 RGB 和 LiDAR 技术的端到端架构，以前所未有的准确度预测绝对的三维人体姿势，同时采用 PedX 的二维姿态注释生成三维预测。

    Oct, 2020

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018

  • 相对论：弱监督数据下的单目三维人体姿态估计

    通过弱监督学习和人群注释者提供的深度相对估计信号，我们提出一种 3D 人体姿势估计算法，用于只在 2D 输入图像中学习。结果竞争力优于目前现有算法，可为在未经过精心控制的现实世界中进行 3D 姿势估计开辟道路。

    May, 2018

  • 多人无标记数据 3D 姿势估计

    本文研究多人姿态估计问题，提出了一种基于多视图系统和深度学习的方法，通过使用图神经网络模型预测场景中不同人之间的视角对应关系，并使用多层感知器模型将 2D 点转换为每个人的 3D 姿态。该模型采用自监督学习方式进行训练，从而避免了对大规模 3D 数据集的依赖。

    Dec, 2022

  • 多摄像机全景单深度

    通过使用广义时空上下文、姿势一致性约束和精心设计的光度损失掩蔽，我们将自监督单目深度和自我运动估计扩展到大基线多摄像机装置，从而学习生成密集、一致且具有尺度感的点云，这种点云与典型的 LiDAR 扫描仪具有相同的完整全景 360 度视场，并且我们提出了一种新的尺度一致评估指标更适用于多摄像头设置。

    Mar, 2021

  • 野外多视角图像下的弱监督 3D 人体姿态学习

    本文提出一种基于弱监督方式，利用多视角数据进行 3D 人体姿势估计的学习框架，包括利用 2.5D 表示法的目标函数，经过测试在两个大规模数据集上达到了半监督 / 弱监督方法的最佳表现。

    Mar, 2020

  • 基于伪激光雷达点云的单目 3D 目标检测

    提升单目深度学习算法中对于三维场景物体检测的表现，通过伪 LIDAR 点云实现与 LIDAR 算法的融合，最终在 KITTI 基准测试中取得了最优结果。

    Mar, 2019

  • 多视角快速且鲁棒的多人 3D 姿势估计

    本文介绍了一种多人 3D 姿态估计的快速、鲁棒方法，使用多方式匹配算法来解决在噪声和不完整的 2D 姿态预测中查找跨视角对应关系的主要挑战，并结合几何和外观提示进行跨视角匹配。

    Jan, 2019