Jan, 2018

基于多视角一致性的形状和姿态预测学习的监督信号

PDF
TL;DR该篇论文提出一种无需直接监督的学习单视角形状和姿态预测的框架，通过利用未知姿态的多视角观察信号进行训练，并在训练中在同一实例的两个视图之间强制实施几何一致性来独立预测形状和姿态，从而学习在新出现的标准框架中预测形状和相应的姿态预测器。在使用 ShapeNet 数据集时，取得了与先前依赖更强监督形式的技术相当的鼓舞人心的竞争成绩。此外，还展示了该框架在现实环境中的适用性，该环境超出了现有技术范畴：使用由在线产品图像组成的训练数据集，在这些数据集内，底层的形状和姿态是未知的。
发现论文，激发创造
  • 可微射线一致性的单视图重建多视图监督

    研究了 3D 形状和 2D 观察之间的一致性，并提出了一种可微分的公式，能够计算给定任意视角观察的 3D 形状的梯度；通过重新定义可微的 Ray 一致性（DRC）项，可以将视图一致性重新推导出来。这种公式可以结合不同类型的多视图观察，如前景掩模、深度、彩色图像、语义等，作为学习单视角 3D 预测的监督来使用，我们在控制性的实验中证明了我们技术的实用性。同时，我们还表明，这种方法可以改进从 PASCAL VOC 数据集中对物体进行单视图重建的现有技术。

    Apr, 2017

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018

  • 利用自监督形状与姿态网络从图像集合转换为点云

    提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

    May, 2020

  • 双视图胜过单视图：多视一致性下的单目三维姿态估计

    通过使用多视角数据对单目人体姿态估计模型进行微调，引入新的一致性损失函数，提升性能，从而实现对特定应用定制模型的实用和经济有效解决方案。

    Nov, 2023

  • 基于语义一致性的自监督单视图 3D 重建

    我们提出了一种自监督的，单视图三维重建模型，通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的 3D 模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。

    Mar, 2020

  • 无需关键点的形状和视点

    本文提出了一个无监督类别特定网格重构学习框架，可以从一组没有 3D 地面真实值的图像中恢复出物体的 3D 形状、姿态和纹理，并维护了一个优化的摄像机假设集以更好地解释给定形状和纹理的图像，并在 CUB、Pascal 3D 和新的网页抓取数据集上获得了最先进的摄像机预测结果。

    Jul, 2020

  • 3D 人体姿势估计的多视图一致半监督学习

    该论文提出了一种基于多视角视频的多视角一致半监督学习框架，利用未经注释、未校准但同步的多视角视频中的姿态信息相似性作为额外的弱监督信号来引导 3D 人体姿势回归，该方法通过硬负采样来建立多视角一致的姿态嵌入，并结合有限的 3D 姿态注释来完善该模型，从而在两种公开数据集上实现了视角不变的姿态检索。

    Aug, 2019

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • 使用动作线索监督低数据环境下的单帧身体姿势和形状估计

    使用未标注视频作为监督信号，可以在没有足够的标注数据时提供额外的监督以优化网络权重，并与使用更多标注数据训练的方法相媲美。

    Feb, 2024

  • 通过形状、姿态和着色的生成建模学习单张图片的三维重建

    该研究提出了一种新的框架，可以在只有 2D 图像且每个实例只有一个视角的情况下，从单张图像中进行特定类别的三维重建和新形状的生成，并支持较弱的监督。采用网格作为输出表达方式，利用光照参数和明暗信息进行训练，支持对洼地的物体类别进行学习。通过五项应用评估，发现该方法的性能表现优于现有的一些方法。

    Jan, 2019