PanoGRF:适用于大基线全景的通用球面辐射场
OmnineRF 是第一个将视差功能应用于新型全景视图合成方法,通过在不同虚拟相机位置的不同 2D 全景坐标系之间进行前后投影,从而可以优化一个全向神经辐射场并实现全向视角下固定中心的可见像素的集合,以估算来自不同相机位置的新视角的图像渲染效果。
Jun, 2021
稀疏低动态范围(LDR)全景图像中辐照度场的模型提高了几何恢复和高动态范围(HDR)重建的能力,并且在实验证明了其有效性。
Dec, 2023
使用一种称为 PanoDiff 的新型方法,通过使用一个或多个未注册的 Narrow Field-of-View (NFoV) 图像,高效地生成完整的 360° 全景图,该方法通过两个主要组件来克服以往方法中的局限性,包括两阶段的角度预测模块和一种基于潜在扩散的全景生成模型,实验表明 PanoDiff 实现了最先进的全景生成质量和高可控性,适用于内容编辑等应用。
Aug, 2023
该论文介绍了一种针对卫星传感器的低分辨率 RGB 图像和高分辨率全色图像的 Planar 神经辐射场(psPRF),通过采用显式的光谱到空间卷积(SSConv)来增强多模态表示能力,并采用投影损失来支持 psPRF 的泛化能力,该方法在多场景的 WorldView-3 数据集上取得了最先进的性能。
Jun, 2024
这篇研究论文提出了一种新型神经网络,可以从 2D 观察中隐式地表示和渲染 3D 物体和场景,通过将 2D 图像中的像素特征投影到 3D 点上,并使用聚合策略来考虑视觉遮挡,生成高质量逼真的新视角。
Oct, 2020
本文提出了一个由单个全景图训练出的全景神经辐射场模型(PERF)用于 360 度全景图的新视角合成,其中采用了一种协作 RGBD 修复方法和逐步修复和删除的策略,实现了在复杂场景中的 3D 漫游。该方法在 Replica 数据集和 PERF-in-the-wild 数据集上进行了广泛实验证明了其优越性,并可广泛应用于全景图转 3D、文本转 3D 和 3D 场景风格化等实际应用中。
Oct, 2023
提出了一种新型的泛化神经辐射场(NeRF)范式,通过基于点而非基于图像的渲染构建了可泛化的神经场,称之为可泛化神经点场(GPF)。该模型通过显式建模可见性并将其与神经特征相结合,提出了一种非均匀取样策略以提高渲染速度和重构质量,并利用特征增强的可学习内核在具有差异性几何结构的区域缓解形变。该研究表明,相比于其他方法和基准数据集,该模型在三个数据集上无论在泛化还是微调设置下,都能提供更好的几何形状、视角一致性和渲染质量,初步证明了该新范式在泛化 NeRF 中的潜力。
Jan, 2024
EgoNeRF 是一种实用的解决方案,可用于利用室内采集的 360 度视频构建 VR 资源的高质量渲染模型,并且它在处理大型自然场景时采用了一些比较优秀的技术以提高性能和表现效果。
Mar, 2023
通过深度学习的全景深度估计和新视角渲染,本研究提出了 MSI-NeRF 方法,能够在虚拟现实应用中保留和利用原始鱼眼相机中的视差信息,实现全景的深度估计和六自由度视角合成。
Mar, 2024
本文提出了一种名为 Stereo Radiance Fields (SRF) 的新的神经视图合成方法,它从输入的立体图像编码中预测每个 3D 点的颜色和密度,且只需要较少的稀疏视图作为输入,可广泛适用于不同场景。实验表明,SRF 方法学习了结构而非过拟合,且 10-15 分钟的微调后比现有的场景特定模型具有更好的视觉效果。
Apr, 2021