Dec, 2023

使用 NeRF 和 NeuS 进行濒危动物物种的三维重建的 SyncDreamer

PDF
TL;DR使用创新的视图合成和三维重建技术，本研究旨在利用单 ocular RGB 图像创建濒危物种模型。使用 SyncDreamer 生成独特视角，利用 NeuS 和 NeRF 重建三维表示。选择东方白鹳、青蛙、蜻蜓和老虎四种不同动物作为研究对象，结果表明，SyncDreamer、NeRF 和 NeuS 技术的组合能成功创建濒危动物的三维模型。然而，我们还观察到 NeuS 生成的图像模糊，而 NeRF 生成的图像更清晰但带有噪点。该研究突显了对濒危动物建模的潜力，并为未来研究提供了新的方向。通过展示这些先进技术的有效性，我们希望鼓励进一步探索和发展用于保护和研究濒危物种的技术。
innovative view synthesis3d reconstruction techniquesendangered speciessyncdreamerneus and nerf
发现论文，激发创造
  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • ReconFusion：基于扩散先验的三维重建

    使用少量照片重建现实场景的方法，通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化，从而在超约束区域综合出逼真的几何和纹理，同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比，我们在各种真实世界数据集上进行了广泛评估，包括正向和 360 度场景，并展示了显著的性能改进。

    Dec, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • 利用神经辐射场进行植物高保真度三维重建

    精准农业领域的重要问题之一是植物表型的准确重建。最近，神经辐射场（NeRF）方法在 2D 新视图图像合成和 3D 农作物和植物模型重建方面表现出出色的性能，但在农业环境中尚未深入研究。本研究通过两种最先进的方法 Instant-NGP 和 Instant-NSR，探索了 NeRF 方法的优势和局限，并提出了一种新的植物表型数据集，以全面评估 NeRF 在农业上下文中的应用。实验结果显示，NeRF 方法在合成新视图图像和与 Reality Capture 相媲美的 3D 重建方面表现出可观的性能，但存在训练速度较慢、采样不足时的性能限制以及在复杂环境中获取几何质量的挑战等问题。

    Nov, 2023

  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • 基于语义掩模和扩散模型的 NeRF 编辑

    本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的 3D 内容进行编辑，此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对 NeRF 中的 3D 目标具有改进的效果。

    Jun, 2023

  • 从航空影像进行深度监督的神经表面重建

    通过将深度先验与 Neural Radiance Fields（NeRFs）相结合，我们调查了 NeRFs 在航空图像块表示不同特征的能力，并将其与公开可用的航空图像基准数据集的结果进行了比较。

    Apr, 2024

  • BirdNeRF：用于大规模场景的快速神经重构航空影像

    针对大规模场景重构的问题，我们引入了 BirdNeRF，这是 Neural Radiance Fields（NeRF）的一种适应型设计，专门用于利用航拍图像进行场景重构。与以前的研究集中在小规模和以物体为中心的 NeRF 重建不同，我们的方法解决了多个挑战，包括：(1) 解决了大型模型训练和渲染速度慢的问题；(2) 满足了对建模大量图像的计算需求，需要高性能 GPU 等大量资源；(3) 克服了由于模型容量有限而导致的大规模重建任务中常见的显著伪影和低视觉保真度问题。具体而言，我们提出了一种基于鸟瞰姿态的空间分解算法，将大型航拍图像集分解为多个具有适当重叠的小集合，使我们能够训练子场景的独立 NeRFs。该分解方法不仅将渲染时间与场景大小解耦，还使得渲染能够无缝地扩展到任意大的环境中。此外，它允许对环境进行块级别的更新，提高了重建过程的灵活性和适应性。此外，我们提出了一种投影引导的新视角重新渲染策略，有助于有效利用独立训练的子场景生成优秀的渲染结果。我们在现有数据集以及我们自己的无人机拍摄素材上对我们的方法进行了评估，在单个 GPU 上提高了 10 倍于经典的摄影测量软件和 50 倍于最先进的大规模 NeRF 解决方案的重建速度，并具有类似的渲染质量。

    Feb, 2024

  • 众包 NeRF：从生产车辆中收集数据进行 3D 街景重建

    借助大规模众包数据的神经光辐射场（NeRF）重建框架，解决了大规模重建中的数据获取问题，并利用这些数据训练 NeRF 模型生成高质量的 3D 场景。

    Jun, 2024

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023