Feb, 2024

DRSI-Net: 双重残差空间交互网络用于多人姿态估计

PDF
TL;DR为了解决多人姿势估计中局部和全局信息不匹配的问题，本文提出了一种高精度低复杂度的 Dual-Residual Spatial Interaction Network (DRSI-Net)。通过在邻居特征上递归地进行残差空间信息交互，保留更有用的空间信息并在浅层和深层特征之间得到更多相似性。多尺度特征融合中引入的通道和空间双重关注机制有助于网络自适应地关注与目标关键点相关的特征并进一步改进生成的姿势。同时，通过优化交互通道维度和梯度流的分割，设计了轻量级的空间交互模块，从而减少了网络的复杂性。根据在 COCO 数据集上的实验结果，DRSI-Net 在精确性和复杂性方面均优于其他最先进的方法。
multi-person pose estimationmppespatial interaction networkdrsi-netcomputer vision
发现论文，激发创造
  • DHRNet：用于多人姿势估计的双路径层次关系网络

    本文介绍了一种名为双通道分层关系网络 (DHRNet) 的新型基于卷积神经网络的单阶段方法，能够同时提取实例到关节和关节到实例之间的交互信息，通过整合不同相关建模分支的优点，丰富了交互信息，并且通过利用其他实例和关节的信息在关节定位方面表现出色，对于多人姿势估计 (MPPE) 提出了一种有效的解决方案。

    Apr, 2024

  • 多人姿态估计中细致本地表示的学习

    本文提出了一种新颖的方法 ——Residual Steps Network（RSN）。RSN 能够有效地聚合相同空间大小的特征（Intra-level features）以获取精细的局部表示，从而保留丰富的低级空间信息，并导致精确的关键点定位。此外，作者在输出特征方面观察到不同的特征会对最终性能产生不同的贡献。为了解决这个问题，作者提出了一种有效的注意机制 —— 姿态细化机器（Pose Refine Machine，PRM），在输出特征中在局部和全局表示之间做出权衡并进一步改进了关键点位置。该方法在 COCO Keypoint Challenge 2019 中获得了第一名，并在 COCO 和 MPII 基准测试中取得了最先进的结果，而不使用额外的训练数据和预训练模型。我们单个模型在 COCO 测试版中获得了 78.6 的分数，在 MPII 测试数据集上获得了 93.0 的分数。集成模型在 COCO 测试版中获得了 79.2 的分数，在 COCO 测试挑战数据集上获得了 77.1 的分数。源代码可以在此网址进行查看。

    Mar, 2020

  • RMPE: 区域多人姿态估计

    该文提出了一种新颖的区域多人姿态估计框架 (RMPE)，其中包括 Symmetric Spatial Transformer Network、Parametric Pose Non-Maximum-Suppression 和 Pose-Guided Proposals Generator 三个组件，实现了在粗略的边界框下多人姿态估计，在 MPII (多人) 数据集上改进了 17%（mAP）。

    Dec, 2016

  • 深度双连续网络用于人体姿态估计

    本文提出了一种基于多帧和时序信息的人体姿态估计方法。该方法包含三个模块：姿态时序合成器、姿态残差融合模块和姿态校正网络。在 PoseTrack2017 和 PoseTrack2018 数据集上进行的实验结果表明，该方法取得了最佳效果，并已发布代码以期促进未来的研究。

    Mar, 2021

  • Dite-HRNet：用于人体姿态估计的动态轻量级高分辨率网络

    通过在高分辨率网络中引入动态轻量化、多尺度上下文信息提取、长距离空间依赖建模的方法，本文提出了一种动态轻量化高分辨率网络模型（Dite-HRNet），该模型在 COCO 和 MPII 人体姿态估计数据集上取得了优异的表现，超越了现有的轻量化网络模型。

    Apr, 2022

  • 基于空间注意力的分布整合网络用于人体姿势估计

    通过引入空间注意力分布集成网络 (SADI-NET)，进一步提高人体姿势估计的准确性，在应对具有挑战性的场景时，包括遮挡、多样化外观、光照变化和重叠等方面，取得了显著的改进和最先进的性能表现。

    Nov, 2023

  • MRC-Net: 多尺度残差相关的 6 自由度姿态估计

    我们提出了一种单次拍摄方法，可以从一张 RGB 图像中确定具有 3D CAD 模型的物体的 6 自由度姿态。我们的方法称为 MRC-Net，包括两个阶段，利用 MRC 层获得输入图像和第一阶段渲染的高低级对应关系。MRC-Net 采用具有共享权重的孪生网络学习输入和渲染图像的嵌入表示。我们的方法在四个具有挑战性的 BOP 基准数据集上表现出色，超过了所有竞争的基于 RGB 的方法。我们的方法非迭代且不需要复杂的后处理。

    Mar, 2024

  • BridgeNet: 深度图像超分辨率和单目深度估计联合学习网络

    本文提出一个基于多任务学习的联合深度图超分辨率与单目深度估计网络，采用不同的引导策略设计两个桥梁，一个是用于特征编码过程的高频注意力桥梁，另一个是用于深度图重建过程的内容引导桥梁，实验证明该方法在基准数据集上具有竞争性能。

    Jul, 2021

  • 具有空间和时间嵌入的多人关节跟踪

    本文提出了一个统一的框架，用于实现多人姿态估计和跟踪，包含两个主要组件 SpatialNet 和 TemporalNet，其中 SpatialNet 在单帧中实现了身体部位检测和部位级别的数据关联，而 TemporalNet 则将连续帧中的人类实例分组为轨迹。

    Mar, 2019

  • 用于实时准确地对道路场景进行语义分割的深度双分辨率网络

    提出了一组高效的卷积神经网络骨干架构，通过双分辨率融合和深度上下文聚合金字塔池化模块，实现了在 Cityscapes 和 CamVid 数据集上的优于现有模型的精度和速度的实时语义分割。

    Jan, 2021