S3IM:随机结构相似性及其对神经场的非理性有效性
通过使用多输入多输出 NeRF(MIMO-NeRF)和自监督学习方法,我们提出了一个新的解决方案来加速神经辐射场(NeRF)的渲染速度,并且与前沿技术相兼容。
Oct, 2023
SfMNeRF 提出了一种基于神经辐射场的方法,结合自监督深度估计方法对样本进行重构,同时利用极线和光度一致性等约束构建 3D 场景几何图像,提高了神经辐射场的表现,实现了更好地合成新视角。
Apr, 2023
本论文提出了单视角 NeRF 框架 (SinNeRF),通过引入半监督的学习过程,利用几何标签和语义标签指导训练过程,成功实现了仅通过单个视图将神经辐射场训练到现实场景,即使在不进行多视图数据集预训练的情况下,SinNeRF 可产生逼真的新视图综合结果。
Apr, 2022
本研究借鉴神经辐射场(NeRF)的概念,将 SAR 成像机制与神经网络相结合,提出了一种新的 SAR 图像生成模型 SAR-NeRF,它通过自动编码学习了体素的衰减系数和散射强度分布,并在少样本学习任务上实现了较高的分类精度。
Jul, 2023
该论文提出了 ConsistentNeRF 方法,通过深度信息规范化像素之间的 3D 一致性,以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中,与基线方法相比,该方法可以显著提高模型性能,如 PSNR 可提高 94%,SSIM 可提高 76%,LPIPS 可提高 31%。
May, 2023
我们提出了一种 NeRF 的零样本超分辨率训练框架,通过单场景内部学习指导 NeRF 模型合成高分辨率的新颖视角,而无需外部高分辨率训练数据。我们的方法采用两个阶段,首先通过内部学习在预训练的低分辨率粗糙 NeRF 上学习场景特定的退化映射,然后通过反向渲染使用映射函数优化超分辨率细致 NeRF,并通过推理阶段引入时间集成策略来补偿场景估计错误。通过在公共数据集上进行大量实验,我们定性和定量地验证了我们方法的有效性。
Dec, 2023
提出了 Stochastic Neural Radiance Fields (S-NeRF) 作为一种泛化标准 NeRF 的方法,在机器学习中使用贝叶斯学习框架进行优化,得出可以量化与模型估计相关的不确定性的概率分布,为场景信息提供了更可靠的预测和置信度值。
Sep, 2021
本文通过 RustNeRF 算法提出了一种实现在现实世界中高质量三维模型合成的方法,通过利用实际影像退化建模、隐式多视图引导等实现了对 NeRF 训练模型的改进。实验结果表明 RustNeRF 方法在面对实际影像退化时表现出更好的鲁棒性。
Jan, 2024
我们提出了一种新的通用方法,用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型,我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤,而不需要任何显式形状监督。
Apr, 2021
介绍了 Sat-NeRF,它是阴影神经辐射场(S-NeRF)模型的一个修改实现。它能够从场景的稀疏卫星图像合成新的视图,并考虑图片中存在的光照变化。通过完全连接的神经网络支路输出反照率和入射辐照度两个量,对辐射度进行考虑,将其作为太阳直射光和天空漫反射颜色的函数。通过对 NeRF 进行超参数研究,得出了一些有趣的结论,并且成功地将 NeRF 和 S-NeRF 运行了 100k 次以完全拟合数据并产生最佳预测。
Apr, 2023