中心投票：通过径向关键点投票进行 RGB-D 图像的 6 自由度姿态估计
本研究针对工业国家的成年人在工作、开车和日常生活中长时间久坐的情况，通过使用毫米波雷达来表征坐姿上半身人体姿态，提出了一个名为 SUPER 的框架，并利用近距离的双毫米波雷达对其进行估计。通过提出的新型掩蔽算法，将雷达数据相干地融合，生成具有互补信息的强度和多普勒点云，用于处理高运动但雷达截面积小的区域（例如上肢）和低运动但雷达截面积大的区域（例如躯干）。通过轻量级神经网络提取上半身的全局和局部特征，并输出 Skinned Multi-Person Linear (SMPL) 模型的姿势参数。在来自多个被试的不同运动序列上进行了大量的留一主题实验，结果表明 SUPER 比最先进的基线方法提高了 30-184%。我们还演示了它在一个简单的下游任务中对手物交互的实用性。
Jul, 2024
该论文探讨了人体建模和姿态估计的交叉领域，涉及计算机视觉、计算机图形学和机器学习，包括算法、方法学和实际应用，以及相关的传感器技术、2D 和 3D 人体建模方法学的挑战和进展，常用数据集和度量标准，以及未来的研究方向。该论文的主要贡献在于对 2D 和 3D 领域最先进的人体姿态估计算法的全面比较，旨在增进对 3D 人体建模和姿态估计的理解，并提供当前最先进成果、挑战和未来前景的见解。
Jun, 2024
我们的方法通过在网络中添加最新的 3D 几何数据作为额外输入，结合之前的几何提示，利用深度和 3D 场景重建领域中的先前工作，实现了与实时交互速度相比达到最先进的深度估计和场景重建。
Jun, 2024
我们引入了 PoseBench，这是一个全面的基准，旨在评估姿势估计模型在面对真实世界的破坏时的健壮性，通过评估 60 种代表性模型，包括自上而下、自下而上、基于热图、基于回归和基于分类的方法，跨三个用于人类和动物姿势估计的数据集，我们的研究发现顶尖模型在面对常见真实世界破坏时易受攻击，并在应对人类和动物姿势估计任务时表现出不同行为。为了提高模型健壮性，我们深入研究了各种设计考虑因素，包括输入分辨率、预训练数据集、骨干网络容量、后处理和数据增强。我们希望我们的基准可以为推动健壮姿势估计研究提供基础。
Jun, 2024
通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。
Jun, 2024
从弱标记数据中学习姿态估计的方法，通过使用 NeRF 隐式学习物体形状，结合 CNN 使用对比损失学习视图不变特征，从而估计姿态。
Jun, 2024
我们在连衣裙制造过程中重新利用接缝线作为连续上半身姿势估计的电容传感器，比起将电极直接放置在衣物表面的以往所有织物运动捕捉服装，我们的解决方案通过在接缝线上缝制绝缘导电线来利用衬衫内部的现有接缝线。该方案利用接缝线的独特不可见性和位置，使得感知衬衫看起来和穿着方式与传统衬衫相同，并提供令人兴奋的姿势跟踪能力。通过实施一个无线连衣裙的概念验证，我们的定制深度学习流水线准确地估计相对于骨盆的上半身三维关节位置。通过一项包括 12 名参与者的用户研究，我们展示了有希望的跨用户和跨会话跟踪性能。SeamPose 代表了实现智能服装与日常姿势估计无缝融合的一大步骤。
Jun, 2024
我们提出了一种新的方法来通过 Cryo-Electron Microscopy 技术从 2D 图像中估计蛋白质等大分子复合物的 3D 结构，该方法采用多头架构作为一种姿态编码器，以一种摊销的方式推断出每个图像中多个可能的姿态，并通过自动解码方式对姿态进行修正，实验证明我们的方法能够处理任务的初期高不确定性，快速并准确地收敛。
Jun, 2024
本文介绍了 MMVR 数据集，它是一个多视角、高分辨率的毫米波多视角雷达数据集，包含了来自 25 个人在 6 个不同房间收集的 345,000 个多视角雷达帧、446,000 个标注的边界框 / 分割实例和 7,590,000 个标注的关键点，以支持三个主要感知任务：目标检测、姿态估计和实例分割。在一片开放空间中的单一主体和多个拥挤房间中的多个主体上，我们报告了两个协议下的性能指标，并分别采用了随机分割和跨环境分割这两种数据划分策略。我们期望 MMVR 数据集能够促进室内雷达感知在室内车辆（机器人 / 仿人）导航、建筑能源管理和老年人护理等领域的发展，以提高效率、用户体验和安全性。
Jun, 2024
通过 OpenCapBench 统一的基准评估，采用生理约束条件，使用肌肉骨骼建模软件（OpenSim）提供的关节角度计算一致的运动学指标，证明了当前姿势估计模型所使用的关键点在生物力学分析中过于稀疏，通过合成数据进行预训练模型的微调，能够预测出更密集的关键点，从而准确进行运动学分析，这样的微调可以减少二倍的关节角度误差。同时，OpenCapBench 还允许用户使用我们的临床相关数据集评估他们自己开发的模型，旨在推动计算机视觉和生物力学领域的同时进步。
Jun, 2024