EvE:利用生成概率推测进行辐射场增强
EVE-NeRF is introduced as an Entangled View-Epipolar Information Aggregation method that improves the generalizability of the 3D representation by considering scene-invariant appearance continuity and geometry consistency priors, achieving state-of-the-art performance in 3D scene reconstruction.
Nov, 2023
生成大规模 3D 场景需要应用现有的 3D 对象合成技术,并且场景通常具有复杂的空间配置,并由多个对象组成,不同细度的尺度。因此,我们提出了一种实用且高效的 3D 表示方法,该方法将等变辐射场与鸟瞰图进行了结合。具体来说,通过操纵相应的鸟瞰图,可以轻松操作合成的 3D 场景中的对象。此外,通过充分融合位置编码和低通滤波器到生成器中,该表示对给定的鸟瞰图是等变的。这种等变性使得我们能够通过合成局部场景然后以平滑的一致性连接它们来生成大规模甚至是无限规模的 3D 场景。对 3D 场景数据集的大量实验证明了我们方法的有效性。详见项目网站链接。
Dec, 2023
介绍了一种用于单个广角立体图像对的新视角合成的方法,包括 3D 场景重构和外观变化的先验模型,提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器,通过大规模实际数据集的训练,证明了模型学习到了强大的多视角几何先验,大大缩短了渲染时间,并在两个实际数据集上得到了显著的优越性能。
Apr, 2023
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
通过学习非约束图像和建立来自处理图像的数据集的流程,我们设计了车辐射场,作为城市场景前景的关键部分,以满足模拟器的要求,确保当视角变化时车辆保持清晰,并且轮廓与背景的过渡保持清晰以避免在编辑时产生伪影。通过实验证明我们的模型与基准模型相比具有竞争性能。利用从野外图像构建的数据集,我们的方法逐渐呈现出可控的外观编辑功能。我们将在此 URL 上发布数据集和代码,以促进该领域的进一步研究。
Jul, 2023
该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法,使用基于视觉 Transformer 的三面板编码器,利用合成数据进行训练,通过卷积渲染技术对神经辐射场的规范三面板进行重建,可以在具有 3D 感知图像生成器的其他类别中应用。
May, 2023
研究如何从 1 或多张图像中合成逼真的室内 3D 场景,采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像,及在 VLN 训练中进行空间干扰以提高成功率。
Apr, 2022
我们提出了一种适用于动态城市环境的新颖分解辐射场方法,通过多级神经场景图表示来估计大规模动态区域的辐射场,并采用快速复合光线采样和渲染技术进行有效的训练和渲染,通过新的视图合成基准测试,我们证明了该方法在更多方面的性能优于先前的方法。
Mar, 2024