Jun, 2024

PointDreamer: 从彩色点云中零射线三维纹理网格重建通过二维修复

PDF
TL;DR从有颜色的点云中重建纹理网格是三维图形和视觉中一个重要且具有挑战性的任务。本文提出了一种新型的框架 PointDreamer，通过二维图像修复来提高纹理网格的保真度和清晰度，实现了从有颜色的点云中重建纹理网格的目标。
textured mesh reconstructioncolored point clouds2d image inpainting2d diffusion modelzero-shot learning
发现论文，激发创造
  • RealmDreamer: 基于文本驱动的带修补和深度扩散的 3D 场景生成

    介绍了一种名为 RealmDreamer 的技术，可以通过文本描述生成通用的正面视图 3D 场景，并且具备高质量和多样性。该技术利用先进的文本到图像生成器初始化 3D 平面，并通过多个视图进行 3D 修补和基于图像的扩散建模，从而生成富含几何结构的场景。最后，通过图像生成器的锐化样本对模型进行微调，而无需视频或多视角数据，同时还可以从单个图像合成 3D 场景。

    Apr, 2024

  • 学习在多个类别上生成具有纹理的密集点云

    本文提出了一种基于深度学习的新方法，实现从单张 RGB 图像中重建出具有几十万个点的密集点云，包括 RGB 纹理，并在多个类别上进行训练以实现对未见类别的优越泛化性能。

    Dec, 2019

  • 零样本点云完整性基于二维先验

    通过利用 2D 先验和点渲染技术，提出一个零样本的框架，用于完成部分观测到的点云，实验结果表明该方法能够优于现有方法并完成各种对象的形状恢复。

    Apr, 2024

  • UNeR3D：无监督重建中基于 2D 图像的多用途可扩展的 3D RGB 点云生成

    通过使用 UNeR3D，这篇研究论文提出了一种开创性的无监督方法来从 2D 图像生成详细的 3D 重建，同时通过应用逆距离加权技术进行颜色渲染，提高了视觉保真度，并展示了在单视图输入和其他情况下的优越成果，从而重塑了 3D 视觉中的无监督学习范式。

    Dec, 2023

  • 隐形缝合：使用深度修复生成平滑的 3D 场景

    基于 2D 生成扩散模型的进展，我们在三维场景生成领域做出两个基本贡献：首先，通过引入新型深度完成模型学习三维融合过程，提高场景的几何一致性；其次，基于真实几何关系引入新的场景生成方法基准系统，用于评估场景结构的质量。

    Apr, 2024

  • 上下文感知分层深度修复的三维摄影

    提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。

    Apr, 2020

  • LucidDreamer: 无域生成三维高斯片状场景

    使用现有的大规模扩散式生成模型，LucidDreamer 提出了一种无域场景生成管道，通过完全利用现有的大规模扩散式生成模型的能力来解决现有模型对特定领域场景的限制。

    Nov, 2023

  • DreamPaint: 基于小样本的电子商务物品修复算法，用于虚拟试穿，无需 3D 建模

    DreamPaint 是一种无需 3D 建模，可以智能地将电子商务产品插入到用户提供的上下文图像中进行虚拟试穿的方法，使用了预训练的扩散模型和补全模块，并且在主观和量化指标方面都表现出优越的性能。

    May, 2023

  • HyperDreamer: 由单张图像生成和编辑逼真的三维内容

    HyperDreamer 是一个可视化、可渲染和可编辑的 3D 内容创建工具，通过 360 度网格建模、高分辨率纹理和语义分割等技术，能够从单张图片中生成逼真的 3D 模型，并支持用户友好的编辑操作。

    Dec, 2023

  • FlexiDreamer：使用 FlexiCubes 的单图像生成 3D

    通过灵活的基于梯度的提取方式（FlexiCubes）以及逐步优化的多分辨率哈希格网编码方案，FlexiDreamer 能够在约 1 分钟的时间内从单视图图像中恢复出密集的 3D 结构，并在单个 NVIDIA A100 GPU 上远远优于之前的方法。

    Apr, 2024