Jun, 2024

姿势估计模型在损伤下的鲁棒性基准测试

PDF
TL;DR我们引入了 PoseBench，这是一个全面的基准，旨在评估姿势估计模型在面对真实世界的破坏时的健壮性，通过评估 60 种代表性模型，包括自上而下、自下而上、基于热图、基于回归和基于分类的方法，跨三个用于人类和动物姿势估计的数据集，我们的研究发现顶尖模型在面对常见真实世界破坏时易受攻击，并在应对人类和动物姿势估计任务时表现出不同行为。为了提高模型健壮性，我们深入研究了各种设计考虑因素，包括输入分辨率、预训练数据集、骨干网络容量、后处理和数据增强。我们希望我们的基准可以为推动健壮姿势估计研究提供基础。
pose estimationanatomical keypointsrobustnessreal-world corruptionbenchmark
发现论文，激发创造
  • 人体姿态估计的鲁棒性

    本文对人体姿态估计模型的对抗攻击和其鲁棒性进行全面深入的研究，基于多个数据集对多个 2D 单人姿态估计体系进行评测，探讨了回归型网络攻击等未曾被研究过的问题，并发现热力图建模型比直接回归模型更具鲁棒性。此外，文中还展示了通用扰动的可视化效果，并进行了用户研究。

    Aug, 2019

  • 针对常见污染物的 3D 点云识别鲁棒性基准测试

    本文提出了深度神经网络在 3D 点云数据上应用于安全关键领域，但对其鲁棒性的研究较少。作者提出了新的用于测试冲突鲁棒性的基准数据集，并给出了一种简单而有效的方法来降低现有模型在此数据集上的表现差距。作者通过实验发现了一些有关点云识别中鲁棒性的关键见解，例如在适当的训练下，基于 Transformer 的结构具有最强的鲁棒性。

    Jan, 2022

  • 深度神经网络对数字病理学中常见损伤的健壮性基准测试

    本文为评估深度神经网络在受损病理图像上的表现建立了易于使用的基准，发现了多种深度神经网络模型存在显著的精度下降和不可靠的置信度评估，并提出了一种用于将验证集替换为该基准集的新方法。

    Jun, 2022

  • 提升三维人体姿势估计的鲁棒性：一个基准和从嘈杂输入中学习

    当前的 3D 人体姿势估计技术虽然表现出色，但在复杂的野外视频中理解和提升它们的普适性仍然是一个开放的问题。本文聚焦于 2D 到 3D 姿势提升器的稳健性，并开发了两个基准数据集来检验视频 - based 3D 姿势提升器对包括临时遮挡、动态模糊和像素级噪声在内的一系列常见视频污染的稳健性。我们观察到现有的最先进的 3D 姿势提升器在存在污染的情况下的普适性较差，并提出了两种应对这一问题的技术。首先，我们引入了时间加性高斯噪声 (TAGN) 作为一种简单而有效的 2D 输入姿势数据增强技术。此外，为了将 2D 姿势检测器输出的置信度得分纳入考虑，我们设计了一种置信度感知的卷积 (CA-Conv) 块。通过在受损视频上广泛测试，所提出的策略不断提升了 3D 姿势提升器的稳健性，并为未来研究建立了新的基准。

    Dec, 2023

  • 基于破损数据的点云分类性能比较与分析

    本文提出了一种基于点云的分类算法，通过对常见三维环境噪声进行分类以及分类器的性能评估，分析了点云分类器的健壮性和泛化性，提出了一些有效的技术来增强点云分类器的健壮性。

    Feb, 2022

  • 当人体姿态估计遭遇鲁棒性：对抗算法和基准测试

    本文旨在解决目前姿态估计算法对于数据噪声的不稳健性问题，提出了一种可以在广泛的姿态估计模型中提高鲁棒性的新算法 ——AdvMix，该算法包含对抗样本生成和知识蒸馏两部分，并经过大量数据实验验证其可显著提高姿态估计的鲁棒性。

    May, 2021

  • 自动驾驶中三维物体检测对常见破坏的鲁棒性基准测试

    本研究旨在设计公共数据集，并建立三种耐受性基准 (KITTI-C、nuScenes-C 和 Waymo-C) 来检验 27 种常见情况下的真实世界杂质对三维物体检测模型的鲁棒性，结果发现基于雷达与相机融合的模型具有更好的鲁棒性。

    Mar, 2023

  • 多实例姿态估计中的基准测试与误差诊断

    本文提出了一种新的方法来分析多实例姿态估计算法中的错误影响，并提出了可用于比较它们的原则性基准。通过定义和表征三类错误 - 定位、评分和背景，研究它们如何受到实例属性的影响及其对算法性能的影响。本文分析了两种具有代表性的人体姿态估计方法在 COCO 数据集上的性能，发现算法的性能和错误类型高度依赖于许多变量，但主要取决于关键点数量和杂波。本文提出的分析和软件工具为了解姿态估计算法的行为方式提供了一种新颖而深刻的方法，同时也提供了一种有效的评估姿态估计算法优缺点的方法。

    Jul, 2017

  • OpenCapBench：桥接姿态估计和生物力学的基准测试

    通过 OpenCapBench 统一的基准评估，采用生理约束条件，使用肌肉骨骼建模软件（OpenSim）提供的关节角度计算一致的运动学指标，证明了当前姿势估计模型所使用的关键点在生物力学分析中过于稀疏，通过合成数据进行预训练模型的微调，能够预测出更密集的关键点，从而准确进行运动学分析，这样的微调可以减少二倍的关节角度误差。同时，OpenCapBench 还允许用户使用我们的临床相关数据集评估他们自己开发的模型，旨在推动计算机视觉和生物力学领域的同时进步。

    Jun, 2024

  • 走向强健而富表现力的全身人体姿势和形状估计

    我们提出了一个新的框架来增强全身姿势和形状估计的鲁棒性，其中包括三个模块以从三个角度解决上述挑战：1）定位模块，2）对比特征提取模块，3）像素对齐模块，并通过全面实验证明了该框架在身体、手、脸和全身基准测试上的有效性。

    Dec, 2023