HuPR: 利用毫米波雷达进行人体姿态估计的基准测试
通过概率地图引导的多格式特征融合模型 ProbRadarM3F,本文提出了一种用于人体姿态估计的新型毫米波雷达特征提取框架,有效地实现了人体的 14 个关键点的估计。实验证明了该模型的有效性,其 AP 达到 69.9%,突出了研究中未被利用的位置信息,为探索毫米波雷达中的其他潜在非冗余信息提供了方向。
May, 2024
该研究提出了一种新的使用 mmWave 雷达在实时情况下检测和跟踪人体骨架的方法,使用机器学习进行骨骼关节的三维定位,可应用于交通监控、自动驾驶、病人监测和国防军事等领域,并且克服了光照和恶劣气象条件的影响。
Nov, 2019
本研究针对工业国家的成年人在工作、开车和日常生活中长时间久坐的情况,通过使用毫米波雷达来表征坐姿上半身人体姿态,提出了一个名为 SUPER 的框架,并利用近距离的双毫米波雷达对其进行估计。通过提出的新型掩蔽算法,将雷达数据相干地融合,生成具有互补信息的强度和多普勒点云,用于处理高运动但雷达截面积小的区域(例如上肢)和低运动但雷达截面积大的区域(例如躯干)。通过轻量级神经网络提取上半身的全局和局部特征,并输出 Skinned Multi-Person Linear (SMPL) 模型的姿势参数。在来自多个被试的不同运动序列上进行了大量的留一主题实验,结果表明 SUPER 比最先进的基线方法提高了 30-184%。我们还演示了它在一个简单的下游任务中对手物交互的实用性。
Jul, 2024
本文提出了两种新颖的姿态校准框架,采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格,通过非刚性姿态变换,可以灵活地处理骨长变化以缓解校准后的网格中的误放置,并通过数据驱动学习和几何建模的通用和互补集成来实现,可用于各种图像 / 视频人体网格的恢复,其在多项基准测试中取得了最新的表现。
Mar, 2021
mmDiff 是一种针对嘈杂雷达数据的新型扩散式姿势估计器,解决了人体部分的漏检和环境干扰引起的信号不一致性等两个关键挑战,通过设计多个模块提供可靠的条件,显著优于现有方法,在公共数据集上实现了最先进的性能。
Mar, 2024
通过主动测量和传感器融合,提出了一种新的方法,将相机、触摸传感器和 2D LiDAR 传感器的信息融合,用于精确估计人体姿态或模型恢复。在实验证明,该方法在人体姿态估计准确度上具有优势,能够可靠地估计前景实际场景中的目标人物姿态。
Oct, 2023
本文提出了一种名为 HMR 的端到端框架,可从单个 RGB 图像恢复人体的完整 3D 网格,通过优化关键点的后投影损失来训练模型,并使用对抗神经网络解决了模型参数欠约束的问题,最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。
Dec, 2017
本文介绍了 MMVR 数据集,它是一个多视角、高分辨率的毫米波多视角雷达数据集,包含了来自 25 个人在 6 个不同房间收集的 345,000 个多视角雷达帧、446,000 个标注的边界框 / 分割实例和 7,590,000 个标注的关键点,以支持三个主要感知任务:目标检测、姿态估计和实例分割。在一片开放空间中的单一主体和多个拥挤房间中的多个主体上,我们报告了两个协议下的性能指标,并分别采用了随机分割和跨环境分割这两种数据划分策略。我们期望 MMVR 数据集能够促进室内雷达感知在室内车辆(机器人 / 仿人)导航、建筑能源管理和老年人护理等领域的发展,以提高效率、用户体验和安全性。
Jun, 2024
提出了一种基于毫米波雷达的新型深度学习方法,即 milliFlow,用于场景流估计,为下游的人体动作传感任务提供了中间级别的特征,并且进一步改善了人体活动识别、人体分割和人体部分跟踪。
Jun, 2023