Sep, 2023

Sketch2CADScript：基于 Visual Transformer 和 Rhino Grasshopper 的 2D 素描到 3D 场景重建

PDF
TL;DR本文介绍了一种新颖的 3D 重建方法，利用视觉转换器从单一线框图中预测 “场景描述符”，该描述符包含了关键信息，如物体类型、位置、旋转和大小参数，通过使用类似 Blender 或 Rhino Grasshopper 的可编程界面的 3D 建模软件，可以用预测的参数重建 3D 场景，得到易于编辑的精细 3D 模型。实验结果表明，该模型能够准确地重建简单场景，但在复杂场景中存在挑战。
3d model reconstructionvisual transformerscene descriptor3d modeling softwarecomplex scenes
发现论文，激发创造
  • Sketch2Mesh: 从草图重建和编辑三维形状

    本文提出一种基于编码器 / 解码器架构利用用户界面提供的相机参数对手绘或合成草图进行转换，将草图转化成三维网格并进行图形重塑的方法，并表明该方法易于部署，对样式变化具有鲁棒性和高效性，且具备单笔画进行形状精细化的能力。和目前最先进的方法相比，我们表现更好。

    Apr, 2021

  • 使用视觉 Transformer 进行高效的 3D 物体重建

    使用视觉 transformer 替代卷积在现有的高效，高性能的 3D 目标重建技术中，预测三维结构并取得类似或优于基线方法的准确度，表明视觉 transformer 在三维目标重建任务中有着巨大的潜力。

    Feb, 2023

  • 从多视角图像曲线到 3D 绘图

    该论文提出了一种将 2D 图像曲线组合成 3D 曲线集合，构建具有拓扑连接性的 3D 图形的方法，以实现对 3D 场景的结构化表示和重建。

    Sep, 2016

  • Image2Mesh: 单张图像三维重建的学习框架

    本文提出了一种使用基于网格的表示来捕捉三维重构任务中的细粒度几何信息的学习框架，它使用自由形变和稀疏线性组合的紧凑网格表示来重建三维物体，相比之前的工作，我们不依赖于轮廓和标记来进行三维重建，并在合成和真实数据集上进行了很有前途的实验结果验证。

    Nov, 2017

  • 使用合成训练生成模型进行文化艺术品的一对多三维几何重建

    使用单张草图图像自动生成详细的三维表示，通过多模态输入进行引导，无需大量训练样本。该解决方案可供领域专家交互式地重建丢失文物可能的外观。

    Feb, 2024

  • 采样至关重要：基于点引导的 3D 人类网格重建

    本文提出了一种基于简单的特征采样方案的 3D 人体网格重建方法，该方案利用嵌入空间中的点作为引导，有助于模型更集中地关注 2D 空间中的与网格相关性的特征，进而重建出自然的人体姿态，并且应用渐进的注意屏蔽机制来精确估计网格之间的局部交互。

    Apr, 2023

  • 仅仅利用二维监督学习来生成和重建三维网格

    论文提出了一种统一框架，用于解决单幅图像特定类别的 3D 重建和新 3D 形状生成的问题。该方法支持弱监督学习，只需要单个实例的 2D 图像，使用网格作为输出表示，并利用光照信息提高了性能。实验结果表明，该方法在定量度量上与最新的基于体素方法相当或优于，而且结果更加美观，并且在弱监督学习方面表现良好。

    Jul, 2018

  • Vis2Mesh: 从大型不规则点云中通过学习的虚拟视图可见性实现高效网格重构

    提出了一种从无结构点云中重建网格的新框架，通过利用虚拟视图中三维点的可见性和基于传统图割的网格生成。与其他基于学习的方法相比，该方法只在二维二分类任务上进行学习，更加普适和实用。实验表明，在小型复杂物体上，该方法具有良好的可传递性和鲁棒性，并与最先进的学习方法相比具有竞争优势，并且在大型室内和室外场景中表现出色。

    Aug, 2021

  • 多视卷积网络通过简笔画实现三维形状重建

    一种从 2D 线描图中重建三维形状的方法，采用深度编码器 - 解码器网络将线描图转换为点云，通过多视角深度图和法线图的融合优化得到点云，在维持拓补和形状结构的同时比容积网络具有更高的重建精度和输出表面分辨率。

    Jul, 2017

  • 3D-LatentMapper：三维形状的视角无关的单视图重建

    本文提出了一种新的框架，利用 Vision Transformer（ViT）和联合图像 - 文本表示模型 CLIP 的中间潜空间，用于单视图重建，通过学习从 ViT 和 CLIP 提取的深度特征与基础 3D 生成模型的潜在空间之间的映射来揭示 3D 形状的重建，且能够实现视角不受限和大遮挡情况下的 3D 形状重建。

    Dec, 2022