Jul, 2023

Blocks2World: 使用可编辑基元控制写实场景

PDF
TL;DRBlocks2World 是一种新颖的 3D 场景渲染和编辑方法，通过凸分解和条件合成的两步过程，从各种物体中提取 3D 平行四边形来获取场景的原始表示，进而通过简单的射线追踪深度图来生成配对数据，最后训练条件模型，学习从 2D 渲染的凸多边形到图像的直接映射，从而实现对新颖场景和编辑场景的出色控制和综合。
blocks2world3d scene renderingconvex decompositionconditioned synthesisnovel and edited scenes
发现论文，激发创造
  • 可微分积木世界：基于图元渲染的定性三维分解

    本研究提出一种基于图像的方法，通过对纹理强的 3D 原语进行优化，得到了简单、紧凑且具有操作性的 3D 世界表示，并比较了该方法与现有方法在真实场景中的表现。

    Jul, 2023

  • BlockFusion：基于潜在的三平面外推的可扩展三维场景生成

    BlockFusion 是一种扩展三维场景的扩散模型，通过三维场景网格的剪裁和特征提取，在潜在三平面空间中进行扩散操作，从而生成高质量、多样化的三维场景。

    Jan, 2024

  • 高效多尺度体素雕刻的大规模场景自监督新型 2D 视角合成

    提出了一种基于多尺度体素雕刻和自学习的算法来生成实景的新视角，在无人机等大规模真实环境下表现出色。

    Jun, 2023

  • 改进的凸分解与集成和布尔基元

    通过引入少量负相关基元和利用集成方法来改进几何重构和修复过程，从而显著提高描述场景的准确性。

    May, 2024

  • SuperPrimitive：场景的基元级重建

    从一组图像或单目视频中联合估计相机姿态和密集几何，由于其计算复杂性和固有的视觉歧义，仍然是一个具有挑战性的问题。我们通过一种新的图像表示方法 ——SuperPrimitives 来解决这个问题，这些 SuperPrimitives 是通过将图像分割为语义相关的局部区域并利用最先进的单幅图像神经网络预测的表面法线方向来增强的。这提供了每个 SuperPrimitive 的局部几何估计，而它们的相对位置则根据多视角观察进行调整。我们通过解决深度补全、少视角的结构运动和单目密集视觉里程计三个三维重建任务展示了我们新表示方法的多功能性。

    Dec, 2023

  • 奇幻世界：从单张图像生成交互式 3D 场景

    WonderWorld 是一个新颖的交互式 3D 场景推断框架，基于单个输入图像和用户指定的文本，用户能够探索和构建虚拟环境。通过利用快速高斯 Surfels 和引导式扩散深度估计方法，WonderWorld 能够在显著减少计算时间的同时生成几何一致的推断结果。我们的框架使用单个 A6000 GPU 在不到 10 秒钟内生成连接且多样化的 3D 场景，实现了实时用户交互和探索。这一方法在交互式 3D 场景生成方面取得了重要进展，为用户驱动的内容创作和虚拟环境中的探索开辟了新的可能性。我们将发布完整的代码和软件以进行可复现性。项目网站：https://this-website-url

    Jun, 2024

  • 室内场景的凸分解

    描述了一种将复杂、混乱的室内场景解析为简化的基本结构的方法。这种方法使用学习回归过程将场景从 RGBD 输入解析为固定数量的凸多边形，并可以选择性地接受分割以改善分解。然后使用下降方法调整凸多边形以获得很好的拟合度，并贪婪地去除冗余的基本结构。因为对整个场景进行了解析，所以可以使用传统的深度、法线和分割误差指标进行评估。评估过程表明，我们的基本结构表示的误差与从单个图像预测深度的误差相当。

    Jul, 2023

  • 3D 场景抽象的鲁棒形状拟合

    通过神经网络引导的 RANSAC 估计器拟合基本几何体，提供更有意义的场景抽象并减少推理时间，成功地将拥挤的真实世界三维场景布局抽象化。

    Mar, 2024

  • 展开虚拟世界，创造沉浸式体验

    此研究首创了一种生成沉浸式世界的方法，从古老的冒险游戏如《谜思》中汲取灵感，并运用现代的文本到图像模型。我们研究了将二维全景图转化为三维场景的复杂过程，解决了观察者在包围球内部导航时发生的感知扭曲问题。我们的方法采用类似 “修补” 技术的方法来纠正扭曲投影，实现了局部一致世界的平滑构建。这为人机交互中的技术、感知和体验现实之间的相互关系提供了广泛的洞察。

    Nov, 2023

  • 在丰富的三维块世界中学习可解释的空间操作

    本文介绍了一个新的数据集和一种神经网络结构，用于解决将自然语言指令映射到二维或三维块世界内的复杂空间操作问题。

    Dec, 2017