ICCVSep, 2023

多视图中三维物体的迭代超曲面重构

PDF
TL;DR我们提出了一种名为 ISCO 的框架，通过在 2D 视图上直接使用 3D 超椭球作为语义部分，无需对使用 3D 监督训练的模型进行重组，从而重组对象。通过优化组成特定对象实例的超椭球参数，将其渲染的 3D 视图与 2D 图像轮廓进行比较，并且以粗略到精细的方式对目标对象进行抽象化，从而提供与相关对象部分一致的超椭球。与最近的单个实例超椭球重构方法相比，实验结果表明 ISCO 提供了更准确的 3D 重构，即使是从野外图像中。
发现论文，激发创造
  • 基于语义一致性的自监督单视图 3D 重建

    我们提出了一种自监督的，单视图三维重建模型，通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的 3D 模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。

    Mar, 2020

  • 超椭球形体再探：学习超立方体外的三维形状解析

    本文提出了一种基于学习的解决方案，将超椭球作为原子元素来代替传统的 3D 长方体表示方法，从而在不需要监督的情况下将三维对象分解成一致的超椭球表示，并能够更易于学习地表达更多细节和复杂姿态。

    Apr, 2019

  • Intrinsic3D： 高质量的 3D 重建，通过联合外观和几何优化，带有空间变化照明

    本文提出一种新的方法，可同时优化几何编码、纹理以及材料和场景照明，以从消费级 RGB-D 传感器中获得高质量的 3D 重建。

    Aug, 2017

  • GECO: 生成图像至 3D 的 SECOnd 中

    GECO 是一种高质量、高效率的 3D 生成模型，通过两个阶段的训练和优化，实现了优化 3D 生成的质量和效率的平衡。

    May, 2024

  • 鲁棒和准确的超立方恢复：一种概率方法

    本文提出了一种用于从点云数据中恢复超椭球体的概率方法，该方法建立了一个高斯均匀混合模型，明确地对噪声与异常值进行建模，并通过最大似然估计问题的期望最大化与切换算法解决了这一问题。我们证明了我们的方法可以扩展到用于恢复复杂物体的多超椭球体，并在综合数据集上的实验中显著优于现有技术。

    Nov, 2021

  • CoReNet：从单个 RGB 图像中重构连贯的 3D 场景

    该论文的研究结果表明在深度学习和编码器 - 解码器架构的帮助下，使用光线追踪跳跃连接和混合的 3D 模型表示技术可以从单个图像中重构出 3D 物体模型，并且同样的技术可以从单张图像中重构出多个 3D 物体模型，并处理遮挡问题。

    Apr, 2020

  • 高保真度的单视角 3D 场景重建

    从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

    Nov, 2023

  • 可组合通用的三维结构预测

    本文在单目图像 3D 形状重建领域引入了组合通用性的概念，并提出了一个新的框架来 better generalize 到那些有着非常不同的形状几何分布的看不见的目标类别。实验证明，我们的方法在 PartNet 中达到了比最先进的方法更高的性能，验证了我们的问题分解和网络设计的有效性。

    Dec, 2020

  • 基于原型形状先验的半监督单视角 3D 重建

    提出一种半监督三维重建框架 SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在 ShapeNet 基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024