May, 2017

通过观察学习3D物体类别

HTML
PDF
TL;DR本篇论文旨在通过两种创新，基于从运动视角观察物体的方式，不需要手动注释，实现学习3D物体类别的传统方法。我们的系统基于两种创新：一种是具有鲁棒性的Siamese视点因子分解网络，可以对不同的视频进行对齐；另一种是可以从部分观测中提取对象的完整形状的3D形状完成网络。我们还演示了配置网络以执行概率预测和几何感知数据增强方案的好处。在公开可用的基准测试中，我们获得了最先进的结果。
发现论文，激发创造
  • ShapeCodes: 将视角提升至视图网格以进行自我监督特征学习

    本论文介绍了一种无监督学习方法，将三维形状信息嵌入到单视图图像表示中，通过使用单个2D图像的自监督训练目标，在没有人工语义标签的前提下，鼓励表示捕捉基本形状原语和语义规律，最终学习得到一个强大的表示方法，可以成功进行物体识别和“心理旋转”操作，成果优于相对应的其他无监督学习方法。

    Sep, 2017

  • 学习从未见过的类别重建形状

    本研究提出一种通用重建算法（GenRe），利用深度和轮廓等2.5D表示方法和球形和体素表示方法，旨在捕捉更通用，不受特定类别约束的形状先验知识，实验结果表明该算法可以很好地解决从单张图像还原3D形状，并且能够泛化到未在训练中见过的多种不同类别的新物体。

    Dec, 2018

  • 少样本视角估计

    通过元学习训练 MetaView 框架中的视角网络，其学习估计特定类别的 3D 形状，相关深度估计和语义 2D 关键点。在 ObjectNet3D 和 Pascal3D+数据集上进行实验，表明该框架明显优于现有方法且具有重要的体系结构创新。

    May, 2019

  • 用于学习类别特定形状重建的多视图聚合

    本文研究了从未观察到的物体实例的可变数量的RGB视图学习特定类别的3D形状重建问题，并提出了一种可以估计密集3D形状并在多个和不同数量的输入视图上聚合形状的方法。

    Jul, 2019

  • 通用场景下基于图像的3D非刚性对称物体无监督学习

    本文提出了一种无需外部监督学习从单视角图像中学习三维可变形物体类别的方法，该方法基于自编码器，将每个输入图像分解为深度、漫反射、观察角度和光照，通过利用物体对称结构来分解这些组件，推理光照使我们能够利用底层的物体对称性，即使外观不对称，而是由于阴影造成的。此外，我们通过预测对称概率地图来建模可能但不一定对称的对象，该地图与模型的其他组件一起端到端地学习。我们的实验表明，这种方法可以从单视角图像中非常准确地恢复人类脸部、猫脸和汽车的三维形状，而不需要任何监督或先前的形状模型。与使用2D图像对应的监督方法相比，在基准测试中，我们表现出优越的准确性。

    Nov, 2019

  • 解耦3D原型网络以进行少样本概念学习

    本研究提出了一种神经网络架构，将RGB-D图像分离为物体的形状和样式以及背景场景的地图，并探索了它们在少样本三维物体检测和少样本概念分类的应用。

    Nov, 2020

  • 平面与椅子：无需任何3D提示的类别导向的三维形状学习

    本文提出了一种基于单个RGB图像学习预测隐式3D物体形状表征的新型3D形状重构方法，使用多种无视角注释的单视角图像进行跨类别学习且仅使用标签进行监督，辅以分类度量学习与对抗性和视点正则化技术，取得了ShapeNet-13，ShapeNet-55和Pascal3D +数据集上优于最先进方法的效果。

    Apr, 2022

  • 学习三维物体的形状和布局，无需三维监督

    本研究提出了一种基于多视图图像的方法，用于识别三维场景的对象形状和布局，通过在大型数据集上的实验，证明该方法可扩展应用于现实图像，并与依赖三维信息的方法相比，表现得更好。

    Jun, 2022

  • 未见类别上的3D形状完成：一种弱监督方法

    通过构建先验库和分析输入和先验之间的相关性，本文提出了一种弱监督框架来从未见过的类别中重建完整的3D形状，并通过自监督形状细化模型进一步改进了粗糙形状，实验证明我们的方法明显优于现有方法。

    Jan, 2024

  • 无监督学习基于物体为中心的视频中的类别级三维姿态

    从无人监督的以物体为中心的视频中学习估计类别级三维姿态，使用多视角对齐和密集对应的方法，我们的模型在无人监督下表现出色，提供了准确可靠的预测结果。

    Jul, 2024