Sep, 2021

常见三维物体：大规模学习和评估真实场景下的 3D 类别重建

HTML
PDF
TL;DR该研究提供了一种名为CO3D的大规模数据集，其中包含了50种MS-COCO类别的近19,000个视频，共计1.5百万帧真实的多视角图像，带有相机姿态和地面真实3D点云的注释，并利用该数据集进行了新视角综合和类别为中心的3D重建方法的大规模“野外”评估，并提出了一种基于Transformer的新型神经渲染方法NerFormer，可根据物体的少数视角重建整个物体。
发现论文，激发创造
  • 野外视频中的3D物体类别的无监督学习

    本篇论文针对计算机视觉中难以标注真实数据的实际场景，提出一种基于多视角的物体三维重建模型，利用自主采集的物体图像视频数据集作为训练样本，创新地提出使用神经网络设计进行后续重构，并在多项基准数据集上验证了该模型的优越性。

    Mar, 2021

  • FiG-NeRF：面向三维对象分类建模的图形-背景神经辐射场

    本研究使用神经辐射场（NeRF）从输入图像集合中学习高质量的三维物体类别模型，通过2组件NeRF模型，FiG-NeRF，实现场景的几何恒定背景和可变形前景的分离，从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型，并且可以进行精确清晰的无模分割和视图合成，并使用综合测量方法对方法进行定量评估。

    Apr, 2021

  • 用于多视角三维重建的现实数据集

    本文介绍了一种包含近千个三维对象模型及超过84万个现实世界的RGB和深度图像数据集，旨在填补现有研究中缺乏的三维多视图重建的真实数据基准。该数据集通过半自动方式实现相机位置与物体姿态的精准标注，为形状重建、物体姿态估计、形状检索等3D应用提供了可能。数据集已开放，包含注释工具和评估基准源代码。

    Mar, 2022

  • 预训练、自训练、蒸馏：三维重建超强增强的简单配方

    本研究提出了一种统一的模型，用于针对数百个语义类别的单视图 3D 对象重建，并利用分割的图像集合来学习分类通用物体的 3D 形状，通过使用标准识别数据集的图像集进行评估，表明该方法使得对150个以上物体类别的3D推断成为可能。最终得到的 3D 重建模型还能够对未见物体类别的图像进行零样本推断，并且通过实验证明，增加训练类别的数量可以提高重建质量。

    Apr, 2022

  • 大词汇量三维扩散模型与变压器

    使用三平面的三维感知扩散模型与Transformer架构，通过改善三维表示、处理几何和纹理的巨大变化、增强复杂对象的三维知识，提出一个能生成大量多样性、丰富语义以及高质量的真实世界三维对象的单一DiffTF模型，该模型在ShapeNet和OmniObject3D的广泛实验中表现出最先进的大量词汇三维对象生成性能。

    Sep, 2023

  • 3DMiner: 从大规模未标注图像数据集发现形状

    3DMiner是一种从具有挑战性的大规模未标注图像数据集中挖掘3D形状的流程，该方法利用自监督图像表示的最新进展，将具有几何上相似形状但背景、纹理和视点不同的图像聚类，并找到它们之间的共同图像对应关系，再利用这些对应关系获取粗略的相机估计，进而通过渐进式捆绑调整重建方法学习表示底层形状的神经占据场。

    Oct, 2023

  • 室内环境中部分观测对象的类别级神经场重建

    通过引入类别级神经场，我们提出了一种改进的方法来重建场景中部分可见的物体，提高三维重建的效果，并在模拟和真实数据集上进行了实验证明。

    Jun, 2024

  • Real3D：用真实世界图像扩展大型重建模型

    该研究介绍了Real3D，使用单视图真实世界图像训练的第一个大型重建模型系统，通过引入自主训练框架和无监督的损失函数，同时利用现有的合成数据和多样化的单视图真实图像，提高了性能和扩大了图像数据的规模，实验结果表明Real3D在不同的评估设置中优于以前的工作。

    Jun, 2024

  • ImageNet3D：面向通用对象级别3D理解

    通过与ImageNet数据集相结合，ImageNet3D数据集提供了200个类别的2D和3D信息，从而为构建具有更强的通用性目标级三维理解的视觉模型提供了潜力。

    Jun, 2024

  • 无监督学习基于物体为中心的视频中的类别级三维姿态

    从无人监督的以物体为中心的视频中学习估计类别级三维姿态，使用多视角对齐和密集对应的方法，我们的模型在无人监督下表现出色，提供了准确可靠的预测结果。

    Jul, 2024