神经光谱偏振场
提出一种基于 SpectralNeRF 的光谱透视的高质量物理渲染方法,通过修改经典的光谱渲染为两个主要步骤,即生成一系列不同波长的光谱图并将其组合为 RGB 输出,通过提出的多层感知机 (SpectralMLP) 和光谱注意力 UNet (SAUNet) 实现这两个步骤。评估结果表明,相对于最近的 NeRF-based 方法,所提出的 SpectralNeRF 在合成新视图时,在合成和真实数据集上具有更好的性能。
Dec, 2023
我们提出了一种名为 Multi-spectral Neural Radiance Fields(Spec-NeRF)的方法,可以通过一组经不同滤波器滤波的彩色图像,联合重建多光谱辐射场和相机的光谱灵敏度函数(SSFs)。通过将估计得到的 SSFs 和辐射场应用于合成多光谱场景的新视图,该方法侧重于对物理成像过程进行建模。该方法只需要一台低成本的三色相机和几个现成的彩色滤光片进行数据采集,相比使用专门的 3D 扫描和光谱成像设备更加实用。我们对合成和真实场景数据集进行的实验表明,利用可学习的 NeRF 和 SSFs 处理经过滤波的 RGB 图像,能够实现高保真度和有前景的光谱重建,并且保留了 NeRF 理解几何结构的内在能力。该方法的代码可以在此 https URL 找到。
Sep, 2023
从不同视角下的图像序列中估计场景参数的多视角逆渲染问题,通过利用极化线索来减少歧义性,以物理为基础的可微分极化渲染器辅助下,提出了神经入射斯托克斯场(NeISF)的多视角逆渲染框架。实验结果表明,该方法在合成和真实场景中优于现有作品。
Nov, 2023
提出了一种基于神经建模的非直视成像框架,采用多层感知器(MLP)来表示神经瞬态场(NeTF),并引入 Monte Carlo 技术来提高重建的鲁棒性和细节保留。实验结果表明,该方法在合成和实际数据集上提供了更高质量的重建并保留了先前方法中缺失的细节。
Jan, 2021
使用尖峰相机数据,利用 SpikeNeRF 从尖峰相机数据中得出了基于 NeRF 的体积场景表示,既能在真实世界中去除错误测量,又能揭示出在各种真实世界的照明情况下一贯的结构,从而在某些场景中展现出比其他视觉传感器更大的优势。
Mar, 2024
我们提出了一种新的通用方法,用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型,我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤,而不需要任何显式形状监督。
Apr, 2021
利用 NeRFs 的最新进展,我们提出了一种计算超光谱 3D 重建的方法,其中空间中的每个点和视角都以波长相关辐射和透射光谱为特征。通过对近 2000 个超光谱图像进行对比和消融测试,我们证明了超光谱 NeRF 的潜力,包括超分辨率和成像传感器模拟。我们展示了超光谱 NeRF 方法可以快速、准确地创建体积化的 3D 超光谱场景,并为未来研究提供了几个新的应用和领域。
Mar, 2024
本研究借鉴神经辐射场(NeRF)的概念,将 SAR 成像机制与神经网络相结合,提出了一种新的 SAR 图像生成模型 SAR-NeRF,它通过自动编码学习了体素的衰减系数和散射强度分布,并在少样本学习任务上实现了较高的分类精度。
Jul, 2023
使用高时间分辨率的脉冲相机,我们提出了 Spike-NeRF,一种基于脉冲数据的神经辐射场,用于高速场景的三维重建和新视点合成。通过设计特殊的脉冲掩蔽和损失函数,我们从高频但不稳定的脉冲数据中重建了准确且稳定的三维场景,并通过合成实验验证了其优于现有方法和基线模型在高速场景中的视觉效果。
Mar, 2024
使用稀疏卫星观测视图的 SpS-NeRF 方法通过密集深度监督以及传统半全局 MVS 匹配提供的互相关相似度指标,有效地生成数字表面模型,并与 NeRF 和 Sat-NeRF 进行对比。
Sep, 2023