Apr, 2018

从单张图像进行彩色 3D 重建

PDF
TL;DR本文提出了一种通过一个可视化的二维图像还原立体物体的彩色与形状的方法，该方法为 an end-to-end trainable framework，能够同时处理 shape recovery 和 surface color recovery 问题，并利用一种叫做 Mean Squared False Cross-Entropy Loss 的新方法来处理原有模型表象的稀疏性问题。
single-image 3d reconstructioncolorful 3d reconstructionend-to-end trainable frameworkshape recoverysurface color recovery
发现论文，激发创造
  • Im2Struct：从单个 RGB 图像中恢复 3D 形状结构

    该研究提出了一种从单个 RGB 图像中恢复三维形状结构的方法，包括由立方体表示的形状部件和涵盖连通性和对称性的部件关系，并通过卷积递归自编码器实现编码解码过程，最终通过对立体多边形层次结构的恢复实现了对单个视角二维图像的恢复。

    Apr, 2018

  • 点画法 3D 表面重建

    本文的研究目的是从单个图像中推断出物体的三维形状，为了实现这一目标，本文使用雕塑作为实验数据集，并基于多视角几何（MVG）的成功经验，提出了一种新的损失函数，利用图像与图像之间的对应关系训练深度网络，完成端到端的单张图像深度估计任务。同时，为了自动地生成大规模的多视图对应数据集，本文提出了一种数据处理方法。在多种雕塑的数据集上的实验表明，本方法可以从单张图像中推断出新物体的三维形状，并且在测试时可以泛化到新的领域（如合成图像）中。

    Sep, 2018

  • 彩色神经隐性曲面重建

    本文主要研究目标是在计算机视觉中从多视图图像或单目视频中重建物体表面，作者通过将网格结构与颜色相结合的方式，在去除视角相关颜色的同时通过重新照明网络保持体积渲染性能，通过有向距离函数网络提取表面的网格，并从全局颜色网络获取每个表面顶点的颜色，结果表明该方法在物体扫描任务和公开数据集上的性能优于现有方法。

    Aug, 2023

  • 高保真度的单视角 3D 场景重建

    从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

    Nov, 2023

  • 从单色图像学习估计三维人体姿态和形状

    该论文提出了一种基于卷积神经网络的直接预测方法，将参数化的统计全身形状模型与 2D 关键点和掩膜相结合，实现从单张彩色图像中估计全身的 3D 姿态和形状，得到了比先前基准更好的结果。

    May, 2018

  • CoReNet：从单个 RGB 图像中重构连贯的 3D 场景

    该论文的研究结果表明在深度学习和编码器 - 解码器架构的帮助下，使用光线追踪跳跃连接和混合的 3D 模型表示技术可以从单个图像中重构出 3D 物体模型，并且同样的技术可以从单张图像中重构出多个 3D 物体模型，并处理遮挡问题。

    Apr, 2020

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024

  • 基于体素的单图像多物体三维检测和重建

    该研究提出了一种基于 3D 体素特征的中心点检测方法，其中包括一个有效的粗细重建模块，可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。

    Nov, 2021

  • Pix2Vox：基于单视图和多视图的上下文感知三维重建

    提出了一种名为 Pix2Vox 的新框架，采用精心设计的编码器 - 解码器生成每个图像的粗略 3D 体积，再引入上下文感知融合模块自适应地选择不同粗略 3D 体积中每个部分（例如桌腿）的高质量重构，以获得融合的 3D 体积，并通过一个细化器进一步精化融合的 3D 体积以生成最终输出，该方法在 3D 重建方面的实验结果表明，Pix2Vox 不仅性能较其它现有算法更优，而且退推时间比 3D-R2N2 快 24 倍，而且该方法具有强大的通用性。

    Jan, 2019

  • 单视图粗细层次三维人体姿态预测

    本研究通过对 3D 人体姿态估计表征问题的认真研究，提出了一种方法，并且对现有的最优解的表现进行了超越，在标准测试基准中相对误差降低超过 30％，该方法包括 Convolutional Network、端到端的学习模型、从粗到细的预测方案和三维体表示。

    Nov, 2016