Dec, 2023

SuperPrimitive：场景的基元级重建

PDF
TL;DR从一组图像或单目视频中联合估计相机姿态和密集几何，由于其计算复杂性和固有的视觉歧义，仍然是一个具有挑战性的问题。我们通过一种新的图像表示方法 ——SuperPrimitives 来解决这个问题，这些 SuperPrimitives 是通过将图像分割为语义相关的局部区域并利用最先进的单幅图像神经网络预测的表面法线方向来增强的。这提供了每个 SuperPrimitive 的局部几何估计，而它们的相对位置则根据多视角观察进行调整。我们通过解决深度补全、少视角的结构运动和单目密集视觉里程计三个三维重建任务展示了我们新表示方法的多功能性。
camera posedense geometry estimationimage representationsuperprimitives3d reconstruction
发现论文，激发创造
  • 基于原始图网络的单图像 3D 物体估计

    采用基于原始体的表示法，提出了一个两阶段图网络进行基于原始体的 3D 物体估计的方法，并使用丰富的几何和语义约束来提高了 3D 结构的恢复质量。

    Sep, 2021

  • 基于双视角帧的复杂动态场景单目稠密三维重建

    本文提出了一种新的单目密集三维重建方法，利用超像素过分割模拟动态场景，并减少结构运动中固有的相对尺度模糊问题。经实验表明，该方法在合成和真实单目序列方面相对优于业界最先进的方法。

    Aug, 2017

  • 基于形态模型引导的稀疏光度三维人脸重建

    本研究提出了一种新的三维人脸重建技术，利用稀疏光度立体和单个图像的面部建模技术，通过采用语义分割技术，可以精确重构面部毛发和裸露皮肤区域，包括皱纹、眉毛、丘疹、毛孔等微小的几何细节，其表现可与电影品质制作相媲美。

    Nov, 2017

  • 高保真度的单视角 3D 场景重建

    从单视图图像重建详细的 3D 场景仍然是一项具有挑战性的任务，我们提出了一种新颖的框架，用于从单视图图像中同时高保真地恢复物体形状和纹理。我们的方法利用了提出的单视图神经隐式形状和辐射场 (SSR) 表示，利用显式的 3D 形状监督和颜色、深度和表面法线图的体素渲染，克服了部分观测下形状和外观的模糊性，同时支持从新视点渲染图像。除了个体物体，我们的方法还支持将物体水平的表示组合成灵活的场景表示，从而实现了整体场景理解和 3D 场景编辑等应用。我们进行了大量实验证实了我们方法的有效性。

    Nov, 2023

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • SuperNormal：基于多视角法线融合的神经表面重建

    SuperNormal 是一种快速、高保真度的多视图 3D 重建方法，利用表面法线图生成详细表面，通过多分辨率哈希编码和基于路径的射线行进来优化神经有符号距离函数 (SDF) 的体积渲染，相较于现有的多视图光度立体重建方法，在效率和准确性上表现卓越。

    Dec, 2023

  • 无需相机姿态的稀疏视角合成的构造优化方法

    通过利用 3D 高斯喷洒方法，我们开发了一种无需相机姿态的稀疏视图合成的新构建和优化方法，通过在构建过程中使用单目深度和将像素投影回 3D 世界来逐步构建解决方案，并通过检测训练视图与对应的渲染图像之间的 2D 对应关系，我们开发了一种统一可微的管道来完成相机注册和相机姿态与深度的调整，最后进行反投影。我们引入了高斯喷洒中预期表面的新概念，这对我们的优化至关重要。这些步骤使得我们能够获得一个粗糙的解决方案，然后可以使用标准优化方法进行低通滤波和细化。在 Tanks 和 Temples 以及 Static Hikes 数据集上，我们展示了仅使用三个广泛间隔的视图的结果，显示出明显优于竞争方法的质量，包括那些具有近似相机姿态信息的方法。此外，我们的结果在使用一半数据集时，随着视图数量的增加而改善，并且在使用 InstantNGP 和高斯喷洒算法时超过了先前的方法。

    May, 2024

  • 使用学习编码的场景表示进行单目密集语义重建

    该研究提出了一种基于变分自编码器的语义表示方法，实现了对三维语义地图的实时增量建立与空间一致的语义标签融合，可以用于单目关键帧语义映射系统，并能够实现对位姿、几何和语义的联合优化。

    Mar, 2019

  • 稀疏视角，近光源：非标定点照明光度立体的实用范式

    通过提出一种端到端的非标定多视点 PS 框架，以实现在真实环境中通过稀疏视点获取高分辨率形状的重建，摒弃了黑暗室的假设，并允许静态环境光和动态 LED 光的组合，从而实现了在实验室外轻松捕获数据，并通过实验证实，在稀疏视点情况下超越了现有的基准方法，将高精度三维重建从黑暗室引入到现实世界中，并保持了合理的数据采集复杂性。

    Mar, 2024

  • PARF: 室内场景新视角综合的原始感知辐射融合

    通过充分利用语义解析和基元提取来约束和加速光场重建过程，本文提出了一种快速场景辐射场重建方法，具有强大的新视角合成性能和便捷的场景编辑功能。

    Sep, 2023