神经角色的高斯阴影投射
该研究提出一种基于神经投影场的方法,利用阴影来学习场景的神经表示,实现了用稀疏图像信号估计几何信息的目的,并且证明了该方法的泛化能力,并且在与 NeRF 等其他方法的比较中体现出更好的性能。
Mar, 2022
基于神经和高斯辐射场方法,在小说视角合成领域取得了巨大的成功。然而,镜面反射仍然非常复杂,因为高频辐射场非常难以稳定准确地拟合。我们提出了一种延迟着色方法来有效地渲染具有高斯分片的镜面反射。主要挑战来自环境映射反射模型,该模型要求精确的表面法线,同时在不连续梯度处瓶颈法线估计。我们利用延迟着色生成的每像素反射梯度来桥接邻域高斯优化过程,使几乎准确的法线估计逐渐传播并最终传播到所有反射物体。我们的方法在合成和真实场景中,显著优于最先进的技术和同时进行的工作,表现出峰值信噪比(PSNR)的一致提高,同时运行速度几乎与原始高斯分片相同。
Apr, 2024
本文介绍了一种名为 GaussianShader 的新方法,通过在三维高斯函数上应用简化的着色函数,提升了在具有反射表面的场景中的神经渲染效果,并保持了训练和渲染的效率。通过基于三维高斯函数的最短轴方向设计了一种新颖的法线估计框架,并使用精心设计的损失函数使法线与高斯球的几何形状一致。实验证明,GaussianShader 在效率和视觉质量之间取得了可观的平衡,相较于处理反射表面的先前方法,如 Ref-NeRF,我们的方法显著加速了优化时间(23 小时对比 0.58 小时),在具有镜面对象数据集上的峰值信噪比方面也超过了 Gaussian Splatting,实现了 1.57dB 的提升。请点击访问我们的项目网站以查看更多结果。
Nov, 2023
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
这篇论文提出了一种名为 DeepShadow 的方法,它可以通过光度立体阴影图从自身和投影的阴影中恢复深度图和表面法线,从而进行 3D 重建。该方法不需要预训练或昂贵的标记数据,在推理时进行优化,使用神经网络进行 3D 形状重建。
Mar, 2022
我们介绍了一种新的框架,使用数据驱动方法来模拟和校准摄像机 - 光源系统,并应用于创建一种可重新照明的 3D 高斯场景模型,从而实现了从新的视点进行实时、逼真渲染的能力,并展示了我们所提出的模拟器和系统在各种实际环境中的适用性和强健性。
Mar, 2024
快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的,但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示,特别是 3D 高斯函数。我们对这些渲染器进行扩展,例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外,我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒,并且可以在 GPU 或 CPU 上轻松执行。详细的代码和可视化示例请参见网址:https:// 此处为网址
Aug, 2023
我们提出了一种混合模型,使用高斯飞溅来表示三维物体的形状和 NeRF 的编码用于颜色和不透明度,从而更好地描述三维物体的阴影、光反射和透明度。
Dec, 2023
本研究提出了一种名为 GaNI 的全球和近场照明感知的神经逆渲染技术,能够从光和相机共同拍摄的场景图像中重建几何、反射率和粗糙度参数。我们通过两个阶段的方法来解决现有的逆渲染技术只能针对单个物体的问题,首先利用神经体积渲染 NeuS 重建几何,然后使用先前预测的几何来估计反射率和粗糙度。实验证明,我们的方法在合成和真实数据上表现优于现有的基于光和相机共同拍摄的逆渲染技术,能够产生更好的反射率和略微更好的几何。
Mar, 2024