CVPRMay, 2023

从物体形状推断和利用部件以提高语义图像合成

PDF
TL;DR本文提出了 iPOSE 方法，利用预先定义少量的部分支持地图来学习一个 PartNet，从而推断部分并将其应用于语义图像合成，其中还引入了部分语义调制，通过实验结果表明该方法在 qualitativer 和 quantitativer 方面都优于其他方法。
semantic image synthesispart segmentationpartnetfew-shot learninginferred part map
发现论文，激发创造
  • 基于姿态引导的弱监督和半监督人体部位解析的知识迁移

    本文提出一种利用人体关键点注释的方法生成合成数据，并利用这些数据进行半监督学习，进而提高人体语义部分分割准确率。在 PASCAL-Person-Part 数据集上，我们的方法优于强监督模型 6 mIOU，达到了最先进的人体分割结果。

    May, 2018

  • 通过神经分析合成实现类别层级物体姿态估计

    本文提出了一种基于图像合成模块和基于梯度的拟合过程相结合的方法，能够通过显式地表示个别物体实例的需求，来隐式地表示整个物体类别的外观、形状和姿态，从而无需每个物体实例都有一个显式的 CAD 模型。该方法包括图像合成台阶、对应误差度量的拟合台阶和对输入参数的反向传播优化台阶，且实验证明该方法可以仅通过 2D 图像就能准确地恢复物体的方向和全姿态。

    Aug, 2020

  • 特征对齐下的无监督部件发现

    本文提出利用无监督学习的方法发现物体的不同部位，通过神经网络构建特征并实现物体识别和部位检测。

    Dec, 2020

  • 基于姿态的多人部位分割的跨域互补学习

    本文提出了一种无需使用人工注释标签，仅仅利用丰富真实数据和易获得合成数据标签的方法，通过姿态表示有效地建立了合成和真实域之间的桥梁，以学习在真实图像上进行多人身体部位分割的方法，并显示该方法表现出与需人工标注标签的现有方法可媲美的效果。

    Jul, 2019

  • iSPA-Net: 迭代语义姿态对齐网络

    iSPA-Net is an iterative Semantic Pose Alignment Network that exploits semantic 3D structural regularity to solve the task of fine-grained pose estimation by predicting viewpoint difference between a given pair of images, and achieves state-of-the-art performance on various real image viewpoint estimation datasets with the aid of correspondence of learned spatial descriptor of the input image pair and refinement in consecutive iterations utilizing an online rendering setup along with effectiveness of a non-uniform bin classification of pose-difference; the approach also shows effectiveness for active object viewpoint localization and unsupervised part-segmentation transfer using only a single part-annotated 3D template model per object class.

    Aug, 2018

  • 组合形状和外貌的组合模型进行语义部件分割

    本文研究了动物语义部分分割问题，提出了一种混合组成模型，将边缘、外观和语义部分提示纳入模型，通过特定动物类别的多角度和姿态条件下的组成模型混合，实现了线性时间复杂度的分割注释算法，并在新的 Pascal VOC 数据集上进行验证，结果表明该方法是有效的。

    Dec, 2014

  • 从合成图像学习快速准确的 3D 姿态推断的特征映射

    该研究提出了一种基于合成图像的深度网络训练方法，通过使用基于 “范例” 的映射，将合成图像的特征空间映射到实际图像的特征空间中，以此用于 3D 姿态估计的预测。通过实验，该方法在 LINEMOD 数据集中实现了优于现有方法的性能表现。

    Dec, 2017

  • 多人姿态估计与语义部位分割

    该研究提出了一种基于全卷积神经网络和条件随机场的联合框架，旨在同步解决人体姿态估计和语义部位分割问题，并在 PASCAL VOC 数据集上进行了广泛实验，显示该算法在这两个任务上均优于竞争方法。

    Aug, 2017

  • 上下文感知物体实例合成与放置

    本文提出了一种基于端到端可训练神经网络的方法，以在图像的语义标签地图中插入特定类别的对象实例。该神经网络由两个生成模块组成，一个用于确定插入的对象掩码位置和比例，另一个用于确定对象掩码形状和姿态。两个模块由一个空间变换网络连接并联合训练，该学习过程利用了监督和无监督数据集，实验证明该模型能够在图像中的多个位置插入不同外观的物体，并具有较好的准确性。

    Dec, 2018

  • 从图像集合中发现三维部件

    本文提出了一种自我监督的方法（LPD）来发现只有 2D 图像的物体的三维部件，并使用新的部件形状先验学习足够简单而又能忠实地匹配物体形状的部件，这种方法在实验中表现良好，比现有方法具有更好的重构精度。

    Jul, 2021