Apr, 2024

6Img-to-3D: 少图像大规模室外行驶场景重建

PDF
TL;DR通过结合压缩的自注意力机制、不可微分体素渲染、场景压缩和图像特征投影等方法，我们提出了一种高效、可扩展的基于 Transformer 的编码器 - 渲染器方法，用于从单次拍摄的图像重建 3D 一致的参数化三平面，适用于大规模、无界的户外驾驶场景。
3d reconstructionunbounded scenesencoder-renderer methodparameterized triplanelarge-scale outdoor driving
发现论文，激发创造
  • 基于 ImageNet 中的野外图像的几何感知 3D 生成

    从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

    Jan, 2024

  • 室内三维场景的简单有效合成

    研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。

    Apr, 2022

  • 基于单目神经网络的连续视角控制图像渲染

    本文提出了一个自监督学习的方法，通过深度引导的调整过程，利用变换自编码器的网络结构，在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角，并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估，证明了该方法的广泛适用性。

    Jan, 2019

  • 无需针对每个形状优化，45 秒内将任意单张图像转换为 3D 网格

    该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。

    Jun, 2023

  • Flash3D：来自单幅图像的前馈式通用三维场景重建

    提出了一种名为 Flash3D 的方法，用于从单个图像进行场景重建和新视角合成，具有很强的通用性和高效性。该方法基于基本模型进行深度估计，并使用高斯分层预测场景的 3D 形状和外观，利用高斯散点处理进行扩展。该方法训练效率高，在 RealEstate10k 数据集上取得了最先进的结果，在其他数据集上也表现出色。

    Jun, 2024

  • R3D3: 多相机下动态场景的稠密三维重建

    提出了一种多摄像机系统来实现密集的三维重建和自我运动估计，通过多摄像机间的几何估计和单目深度优化来获得鲁棒的几何深度和姿态估计，同时通过深度优化网络引入可学习的场景先验，从而在具有挑战性的动态室外环境中实现了稠密、一致的三维重建。

    Aug, 2023

  • FS6D: 对新物体进行少样本 6D 姿态估计

    本文探讨了一种新的开放式少样本目标 6D 姿态估计问题，并提出了一种密集的 RGBD 原型匹配框架，加上深度外观和几何相关性的先验，以及一种在线纹理融合方法，为解决这个问题建立了基准。

    Mar, 2022

  • 基于循环变换的弱监督解缠合技术用于三维视图合成

    这篇论文介绍了一种利用神经网络来解决从单一图像生成多角度视角的问题，并且在人脸和椅子等特定物体类别的数据上取得了良好的效果，同时展示了模型无需完全监督就可在多个应用中使用的能力。

    Jan, 2016

  • 基于神经渲染的自动驾驶城市场景重建

    利用多模态数据结合深度学习模型进行密集三维重建，从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。

    Feb, 2024

  • 从单张图片合成一致的长期 3D 场景视频

    在这篇论文中，我们提出了一种新的方法来从单个场景图像和大摄像机动作轨迹中综合出一致的长视频，并使用自回归 Transformer 以及基于摄像机的局部性约束来预测多个帧之间关系和下一帧，从而实现了对多帧的序列建模，优于现有的方法，尤其是在室内 3D 场景的长期未来合成中表现出色。

    Mar, 2022