CVPRMar, 2019

多人动作捕捉的神经场景分解

PDF
TL;DR本文提出一种基于自监督学习的神经场景分解（NSD）方法，通过对多视角数据的学习，用三层信息表示人体姿态，其中包括边界框和相对深度，实例分割掩码和个体化外观信息以及 3D 姿态信息，该方法能够为小规模数据集训练 3D 姿态估计网络提供帮助。
image representationscomputer visionneural scene decompositionself-supervised learning3d pose estimation
发现论文，激发创造
  • 利用姿势分解和语义相关性实现结构感知的人像生成

    本文介绍了一种基于结构感知流的方法，利用语义部分将人体分解，来应对人物姿态变换并生成高质量图像，网络模块能够有效地捕捉人体局部和全局语义特征，实验结果表明，该方法在生成高质量图像方面胜过其他方法。

    Feb, 2021

  • 无监督几何感知表示用于三维人体姿态估计

    本文提出使用多视角图像而无需注释，来学习一个具有几何感知能力的身体表示，通过使用该身体表示，我们的方法在仅使用少量标记数据的情况下，显著优于完全监督的方法，并且在使用仅 1% 标记数据时，也优于其他半监督方法。

    Apr, 2018

  • 多人无标记数据 3D 姿势估计

    本文研究多人姿态估计问题，提出了一种基于多视图系统和深度学习的方法，通过使用图神经网络模型预测场景中不同人之间的视角对应关系，并使用多层感知器模型将 2D 点转换为每个人的 3D 姿态。该模型采用自监督学习方式进行训练，从而避免了对大规模 3D 数据集的依赖。

    Dec, 2022

  • 通过自监督静态 - 动态解缠缚，从单幅图像中查看 3D 物体

    本文提出一种无监督学习方法，通过观察未标记的多视角视频，学习将一个包含多种物体的复杂场景的单幅图像观察映射到一个三维神经场景表示，可以将该表示分解为可移动和不可移动的部分，并通过神经渲染进行自监督训练，从而实现基于对象的三维表示、新视角合成、实例分割和三维边界框预测等多种下游任务，并通过对象操作（如删除、插入和刚体运动）实现场景编辑。

    Jul, 2022

  • MONet: 无监督场景分解与表示

    该论文介绍了 Multi-Object Network 模型，它可以将复杂的 3D 场景拆分为对象和背景等语义组件，从而更好地表示场景中的抽象要素和关系，提高数据效率和转移性能。

    Jan, 2019

  • DO3D: 自监督学习单目视频的分解目标感知 3D 运动和深度

    提出了一种自监督方法，可以从单目视频中联合学习 3D 运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态，进而改进了深度估计和 3D 动作估计的性能。

    Mar, 2024

  • 从密集身体部位学习 3D 人体形状和姿势

    本文提出了一种从稠密对应的人体部位进行学习的方法，通过构建 2D 像素与 3D 顶点之间的桥梁，提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络（DaNet），并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略，发现该方法显著提高了重建性能。

    Dec, 2019

  • 视觉三维人体姿态与形状的神经下降

    本文提出一种基于深度神经网络的人体三维姿态和形状重建方法，使用全身统计 3D 人体模型和学习技巧来优化模型并将其应用于自监督模式下的姿态和形状状态重建，并基于新颖的循环方式更新姿态和形状参数，从而实现了优化损失和度量反差的统一，测试结果表明其在 H3.6M 和 3DPW 等数据集上均获得了极具竞争力的结果。

    Aug, 2020

  • DeLS-3D: 3D 语义地图的深度定位与分割

    该研究提出了一种基于深度学习的统一框架，通过将相机视频、运动传感器（GPS/IMU）和三维语义地图进行传感器融合，以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术，使用相机姿态和三维语义地图生成标注地图，并在深度神经网络中进行联合训练，以提高姿态估计精度。该研究表明，相较于单一传感器，传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。

    May, 2018

  • 解耦 3D 原型网络以进行少样本概念学习

    本研究提出了一种神经网络架构，将 RGB-D 图像分离为物体的形状和样式以及背景场景的地图，并探索了它们在少样本三维物体检测和少样本概念分类的应用。

    Nov, 2020