- 使用神经辐射场重新照明场景中的物体插入
本文提出了一种基于 NeRF 的新型管道,用于将物体 NeRF 插入场景 NeRF,实现新视角合成和逼真的光照重新调整,并支持物体之间的物理交互,如互相投射阴影,通过比较相机视角与光源视角之间的深度图并生成生动柔和的阴影,实现了逼真的光照重 - 用 3DGS 照亮每个黑暗:快速训练和实时渲染用于 HDR 视图合成
LE3D 通过引入三维高斯散射、锥形散射初始化、颜色 MLP 和深度失真及近远程规范化方法,实现了基于体积渲染的实时新视角合成、HDR 渲染、重点调整和色调映射,同时降低了训练时间和提高了渲染速度。
- 从零到英雄:通过注意力图筛选增强零样本新视角合成
利用 Zero-1-to-3 模型生成真实的图像,通过增强关注图和自我注意机制集成源视图信息,改善视图合成的几何一致性和可靠性。
- NeRF-Casting:改进的视角相关外观与一致反射
该论文提出了一种基于光线追踪的方法来解决 Neural Radiance Fields(NeRFs)在渲染高光物体时的困难,并成功合成了真实世界场景中的光泽外观和反射,同时优化和渲染速度与当前状态 - of-the-art 视图合成模型相当 - CVPR使用双目相机实现可推广的新视点合成
提出了一种针对多视点立体相机图像的第一种通用视角合成方法,该方法引入了立体匹配以实现高质量的几何重建。该方法包括三个关键组件:立体特征提取器、深度引导的平面扫描和立体深度损失,并提出了第一个多视点数据集 StereoNVS,实验证明该方法优 - GaSpCT: 高斯喷点在新型 CT 投影视图合成中的应用
GaSpCT 是一种新颖的视图合成和 3D 场景表示方法,用于生成计算机断层扫描(CT)扫描的新颖投影视图,无需运动结构学(SfM)方法,在总体扫描时间和患者接受的辐射剂量方面减少。
- Mesh2NeRF: 神经辐射场表征和生成的直接网格监督
Mesh2NeRF 通过从 3D 网格中直接获取地面真实辐射场的解析解,提供了训练生成 NeRF 和单场景表示的准确辐射场的直接监督,进而在各种任务中验证了其有效性。
- 野外高斯:无约束图像集合的三维高斯插值
使用高斯点的方法 (GS-W) 重建场景,为每个点引入独立的内在和动态外观特征,捕捉不变的场景外貌和动态变化,通过自适应采样策略以及 2D 可见性图减少瞬态遮挡器的影响。与之前的方法相比,GS-W 在渲染速度上提高了 1000 倍,并展示了 - RadSplat: 用于鲁棒实时渲染的辐射场引导高斯涂抹,每秒 900 + 帧
本研究提出了一种名为 RadSplat 的轻量级方法,用于复杂场景的鲁棒实时渲染。该方法通过使用辐射场作为先验和监督信号来优化基于点的场景表示,提高了渲染质量和鲁棒优化。同时,我们开发了一种新颖的剪枝技术,减少了点的数量且保持高质量,使场景 - MSI-NeRF: 通过多球面图像辅助的泛化神经辐射场将全景深度与视图合成连接
通过深度学习的全景深度估计和新视角渲染,本研究提出了 MSI-NeRF 方法,能够在虚拟现实应用中保留和利用原始鱼眼相机中的视差信息,实现全景的深度估计和六自由度视角合成。
- 新视觉时代中的 3D 高斯:综述
3D 高斯散射(3D-GS)是计算机图形学领域的重要进展,提供了明确的场景表示和新颖的视图合成技术,而无需依赖神经网络(如神经辐射场(NeRF))。本文对 3D 高斯散射的相关论文进行了全面调研,将调查结果按照特征和应用进行分类,介绍了 3 - EscherNet:一种可扩展的视图合成生成模型
EscherNet 是一种多视图条件扩散模型,学习了隐式和生成式的三维表示,在精确和连续的相机变换控制方面具有专门的相机位置编码,能够在一个消费级别的单个 GPU 上同时生成 100 多个一致的目标视图,能够处理零样本新视图合成并将单个和多 - 去模糊的三维高斯渲染
我们提出了一种新颖的实时去模糊框架,利用小型多层感知机(MLP)操纵每个 3D 高斯的协方差来建模场景的模糊程度,从模糊的图像中重构出细节清晰的图像,实现实时渲染。
- 可变形的 3D 高斯喷洒技术用于可动式人型角色模型
通过引入参数驱动的动力学到三维高斯喷点,本研究提出了一种完全明确的方法来由单一单眼序列构建数字化角色,并使用栅格化器合成图像。该方法无需额外注释并且能在消费硬件上高效推断全分辨率图像,实验证明其在数据集上在定量和视觉上均优于现有的技术。
- ProSGNeRF:城市场景中的渐进式动态神经场景图与频率调制自编码器
通过使用图形结构学习动态对象和背景的本地场景表示,并设计渐进方案和频率自编码器网络来解决大规模城市场景和快速移动车辆的视图合成问题。实验结果表明,该方法在视图合成准确性、物体操作和场景漫游能力方面取得了最先进的结果。
- 透明物体的神经辐射场法使用视体
我们提出了一种基于 NeRF 的方法,通过三个步骤解决了传统 NeRF 在透明对象方面的局限性。首先,使用可视外形重建透明对象的三维形状。其次,根据斯涅尔定律模拟透明对象内部的光线折射。最后,通过折射光线采样点,并将其放入 NeRF 中。实 - 多视角漫反射器视图和几何优化提炼
使用基于图像条件的扩散模型从单视角生成多视角图像是最新的技术进展,虽然存在合成图像不一致和提取几何信息过度平滑等问题,但本研究通过优化辐射场、修正传统辐射场优化过程中的偏差以及开发一个专门的两步骤过程,实现了从多视角图像中恢复准确的几何信息 - RING-NeRF:基于残差隐式神经网络格的通用架构
我们介绍了一种名为 RING-NeRF 的新的简单而高效的体系结构,基于 Residual Implicit Neural Grids,用于控制场景和潜在空间之间映射函数的细节级别,并结合距离感知的正向映射机制和连续的粗 - 细重建过程,在 - 混合神经渲染:自适应体积表面的高效神经渲染
使用混合的神经辐射场(HybridNeRF)方法,将大多数对象作为表面渲染,同时以体积化的方式对挑战性区域进行建模,以提高视图合成的质量和实时性。
- 重新 Nerfing: 通过新视角合成对神经辐射场施加几何约束
通过 Re-Nerfing 方法,我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围,提高新视角的几何一致性,并通过新合成的图像实现结构和极线约束的优化,对 mip-NeRF 360 数据集进行