通过反向神经渲染进行动态场景的物体中心体素化
通过学习,我们提出了一种表示动态物体的方法,该方法由编码器 - 解码器网络和可微分的射线行进操作组成,它不需要明确重建或跟踪物体,使用了 3D 体积表示法,表现出更好的图像质量,为高分辨率应用提供了一种从表面到体积的方法
Jun, 2019
该论文提出了一种新的神经渲染方法,能够将动态环境分解成场景图,通过隐式编码学习场景的变换和辐射度,并能够渲染未见过的物体、位置的各种动态场景,达到了高度逼真的效果。
Nov, 2020
本篇论文提出一种基于体积图像渲染的新方法,通过汇集场景相邻视野的特征,以动态场景感知的方式合成新视点,从而在长视频中合成具有真实感的新视图,能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。
Nov, 2022
本文提出了一种名为 MixVoxels 的新方法,其通过将 4D 动态场景表示为静态和动态体素的混合,并使用不同的网络对其进行处理,以更好地表示动态场景,并提出了一种新型的变分场来估计每个体素的时间方差,以区分两种体素类型,并采用内积时间查询方法高效地查询多个时间步骤,从而在短时间内训练(15 min)得出比以前的方法更好的 PSNR。
Dec, 2022
本文旨在从多视角视频中建模 3D 场景的动态。我们提出了一种新的方法,通过仅利用视频帧学习 3D 场景的几何、外观和物理速度,从而支持多种理想的应用,包括未来帧插值、无监督的 3D 语义场景分解和动态运动传递。
Dec, 2023
介绍了一种称为 TiNeuVox 的辐射场框架,通过时间感知体素特征表示场景,进一步强化了时间信息,提出了多距离插值方法,以模拟小和大的动作,加快了动态辐射场的优化,并在合成和真实场景上经过实证评估,表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。
May, 2022
本文提出了一种新颖的 3D 组合表示方法,将离散和连续的体积表示方法相结合,结合了粗糙的网格动画代码和连续的学习场景功能,使用可区分的体积渲染来计算动态人头和上半身的新视图,并在使用仅 2D 监督时进行端到端的训练,实现了动态人头和上半身新视图综合的最新最佳结果。
Dec, 2020
本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法,通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度,实验表明该模型与传统优化方法相比,在渲染质量上有竞争力,但学习速度更快。
Feb, 2023
本文提出了一种利用 3D Voxel 建模 4D 神经辐射场的方法,即 V4D, 并使用 LUTs 格式和条件位置编码来改进新视图综合任务的表现,实验表明该方法在低计算成本下取得了最先进的表现。
May, 2022
从单一视角解决图像到三维的问题是一个不适定问题,现有的神经重建方法依靠场景特定的优化限制其泛化能力。为了克服现有方法在泛化和一致性方面的局限性,我们引入了一种新颖的神经渲染技术。我们的方法通过几何编码体积和超网络,采用有符号距离函数作为表面表示,并从生成的多视图输入构建神经编码体积,在测试时根据输入图像调整 SDF 网络的权重,通过超网络以前馈方式实现对新场景的模型适应。为了减轻合成视图产生的伪影,我们提出了一个体素变换模块来改善图像特征的聚合,而不是单独处理每个视点。通过我们提出的 Hyper-VolTran 方法,我们避免了场景特定优化的瓶颈,并保持从多个视点生成的图像的一致性。我们的实验证明了我们提出的方法的优越性,具有一致的结果和快速生成。
Dec, 2023