May, 2024

TK-Planes: 高维特征向量下的分层 K-Planes 用于动态无人机场景

PDF
TL;DR本论文提出了一种新的方法来缩小合成数据和实际世界数据之间的领域差距，用于无人机感知。我们的方法适用于包含移动物体或人类动作的动态场景，旨在识别姿势或行为。我们扩展了 K-Planes 神经辐射场（NeRF），通过存储一组分层特征向量来有效建模场景的概念信息，并使用图像解码器将输出特征图转换为 RGB 图像。我们的技术利用场景中静态和动态对象之间的信息，并能够捕捉高空视频的显著场景属性。我们在包括 Okutama Action 和 UG2 在内的具有挑战性的数据集上评估其性能，并观察到与现有空中感知算法相比的显著准确性改进。
domain gapuav-based perceptionpose recognitionneural radiance fieldhigh altitude videos
发现论文，激发创造
  • K 平面：空间、时间和外观中的明确辐射场

    引入了 k-planes，它是一种在任意维度的辐射场中的白盒模型。 使用 d 选择 2 个平面来表示 d 维场景，提供了一种无缝地从静态（d=3）到动态（d=4）场景的方法。我们使用具有学习的颜色基础的线性特征解码器，该解码器产生与非线性黑盒 MLP 解码器相似的性能。 k-planes 在一系列合成和真实的场景中具有竞争力且通常具有最先进的重建保真度，具有低内存使用率，并且使用纯 PyTorch 实现进行快速优化。

    Jan, 2023

  • UAV-Sim: 基于 NeRF 的无人机感知的合成数据生成

    利用神经渲染的最新进展来改善从高空获取显著场景属性的静态和动态无人机图像合成，并且证明了将最先进的检测模型优化于真实和合成数据的混合数据集上，相比于仅使用真实或合成数据，可以达到显著的性能提升。

    Oct, 2023

  • 重新定义侦查：无人机、360 度摄像机和神经辐射场的连接

    数字态势感知领域中，准确的 3D 模型是不可或缺的，本文介绍了一种创新方法，将 30cm 以下的紧凑型无人机与 360 度相机以及神经辐射场（NeRFs）的进展相结合，特别适用于在严重破坏的城市环境中生成 3D 场景的表达.

    Nov, 2023

  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • WavePlanes: 动态神经辐射场的紧凑小波表示

    Dynamic Neural Radiance Fields（Dynamic NeRF）提升了 NeRF 技术以对移动场景建模，然而，它们需要大量资源且难以压缩。为解决该问题，本文提出了 WavePlanes，一种更快且更紧凑的显式模型。我们提出了一个多尺度空间和时空特征平面表示，使用 N 级 2D 小波系数。逆离散小波变换重构了 N 个特征信号，具有不同的细节，线性解码以近似 4D 网格中体积的颜色和密度。利用小波系数的稀疏性，我们压缩了一个哈希映射，仅包含非零系数及其在每个平面上的位置。这导致压缩模型大小约为 12 MB。与最先进的基于平面的模型相比，WavePlanes 小了多达 15 倍，计算需求较低，并在仅一个小时的训练内实现了可比拟的结果 - 无需定制 CUDA 代码或高性能计算资源。此外，我们提出了新的特征融合方案，其效果不亚于以前提出的方案，同时提供更大的可解释性。我们的代码位于：this https URL

    Dec, 2023

  • Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

    利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。

    Dec, 2021

  • 具有时间感知的快速动态辐射场神经体素

    介绍了一种称为 TiNeuVox 的辐射场框架，通过时间感知体素特征表示场景，进一步强化了时间信息，提出了多距离插值方法，以模拟小和大的动作，加快了动态辐射场的优化，并在合成和真实场景上经过实证评估，表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。

    May, 2022

  • 多层平面引导的少样本空中景观渲染

    在这项研究中，我们介绍了一种专为少量航拍场景渲染量身定制的新方法，即多平面先验引导的神经辐射场模型（MPNeRF）。我们的关键洞察是航拍图像固有的几何规律可以加强稀疏航拍场景的神经辐射场模型。通过研究神经辐射场模型和多平面图像的行为，我们提出使用多平面先验指导神经辐射场模型的训练过程。通过引入 SwinV2 Transformer 和使用 SimMIM 进行预训练，我们的实验结果表明，MPNeRF 在非航拍环境中的性能超过了现有的最先进方法，即使只有三个视图可用，也可以将 SSIM 和 LPIPS 的性能提升三倍。希望我们的工作能为航拍场景中基于神经辐射场模型的应用开发提供启示。

    Jun, 2024

  • 从航空影像进行深度监督的神经表面重建

    通过将深度先验与 Neural Radiance Fields（NeRFs）相结合，我们调查了 NeRFs 在航空图像块表示不同特征的能力，并将其与公开可用的航空图像基准数据集的结果进行了比较。

    Apr, 2024

  • Aerial-NeRF：大规模航空渲染的自适应空间划分和采样

    基于 Neural Radiance Fields (NeRF) 的大规模航拍渲染模型 Aerial-NeRF 在适应不同飞行轨迹、提高渲染性能和覆盖整个建筑物等方面进行了三项创新性的改进，通过广泛实验证明了 Aerial-NeRF 的有效性和高效性，并在两个公开的大规模航拍数据集以及 SCUTic 数据集上取得了新的最先进结果，相比其他竞争者，我们的模型能够以 4 倍的速度进行渲染。

    May, 2024