- ICCV动态场景新视角合成的前向流
本研究提出了一种使用前向变形的神经辐射场 (NeRF) 方法,用于动态场景的新视角合成。通过在规范空间中表示静态 NeRF,并使用学习到的反向流场将采样的 3D 点映射回规范空间以渲染其他时间步骤的动态图像。然而,这种反向流场是非平滑和不连 - FlowIBR:利用预训练来高效构建动态场景的神经网络图像渲染
我们引入了一种新颖的方法,用于动态场景的单目新视图合成。通过将场景动态性与预训练的神经图像渲染方法相结合,我们的方法绕过了训练数据和场景动态性多样性的限制,通过优化场景流场来实现将动态场景呈现为静态场景,从而降低了优化时间并实现了与现有方法 - Dyn-E: 动态神经辐射场的局部外观编辑
本文提出了一种通过操作训练视频单个帧中的像素点来编辑动态 NeRFs 的局部外观的新框架,并引入了本地表面表示来保留未编辑区域,通过学习的可逆运动表示网络将其插入和渲染到原始 NeRF 中,并将其变形到任意其他帧,达到时空一致的编辑结果。
- 通过反向神经渲染进行动态场景的物体中心体素化
本文提出了 DynaVol,一种逆神经渲染框架,用于学习动态场景中多实体的时变体积表示,并在多个基准测试中通过两阶段训练验证了其有效性。
- CVPR学习融合单目和多视角线索,用于动态场景中的多帧深度估计
本文提出了一种新的方法,能够在显式掩模和单眼线索的帮助下,利用体积编码融合多视图几何感知与单眼图像中的上下文信息,从而实现对多帧深度估计的更精确的处理。实验结果证明了这种方法在真实世界数据集中的有效性与通用性。
- CVPR神经残留光辐射场用于流畅自由视点视频
本文提出了一种名为 Residual Radiance Field (ReRF) 的新技术,用于高效压缩长时间动态场景的实时自由视点视频渲染,借助全局坐标小型 MLP 作为特征解码器。通过使用紧凑的运动网格以及残差特征网格来利用帧间特征相似 - 利用分布驱动神经辐射场的动态场景可分离新视角合成
通过神经辐射场来区分整个动态场景中的背景分布并从静态背景中抽取出对象, 从而提供高质量的视图合成和 3D 解决方案。
- NeuS2: 多视角重建的神经隐式曲面快速学习
提出了一种快速的神经表面重建方法,称为 NeuS2,通过将多分辨率哈希编码集成到神经表面表示中,实现了两个数量级的加速,并通过 CUDA 实现了整个算法。该方法不仅提高了表面重建的准确性,还能有效地解决神经表面表示的训练时间长的问题,特别是 - CVPR可编辑的顶点神经辐射场:通过关键点编辑拓扑变化的神经辐射场
本文提出了可编辑的神经辐射场,使终端用户能够轻松编辑动态场景,甚至支持拓扑变化。我们的方法支持直观的多维度(最多 3D)编辑,并且可以生成在输入序列中未见过的新颖场景。
- 混合神经体素用于快速多视角视频合成
本文提出了一种名为 MixVoxels 的新方法,其通过将 4D 动态场景表示为静态和动态体素的混合,并使用不同的网络对其进行处理,以更好地表示动态场景,并提出了一种新型的变分场来估计每个体素的时间方差,以区分两种体素类型,并采用内积时间查 - 神经辐射场场景重建探索:合成、真实世界和动态场景
该论文主要研究使用神经辐射场(NeRF)方法对合成和真实场景进行 3D 重建,包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中,还着重探讨了神经辐射场(D-NeRF)对动态场景重建的应用,并成功将其推广至真实世界动态场景。
- NerfAcc: 一个通用的 NeRF 加速工具箱
NerfAcc 是一种用于快速体积渲染辐射场的工具箱,支持动态场景和不可限制场景,并且具有用户友好的 Python API,适用于大部分 NeRFs 进行即插即用的加速。
- 神经可形变体素网格用于快速优化动态视角合成
本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景,该方法包括两个模块,采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度,并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明,本方法在仅用 20 分钟的训练 - DeVRF: 快速可变形体素辐射场应用于动态场景
DeVRF 是一种用于加速学习动态辐射场的新型表示方法,使用 3D 规范空间和 4D 变形场来模拟非刚性场景,通过静态到动态学习范式及新的数据捕捉设置来解锁变形辐射场的有效学习,取得与先前最先进方法相当的高保真度,且速度提高了两个数量级 ( - 具有时间感知的快速动态辐射场神经体素
介绍了一种称为 TiNeuVox 的辐射场框架,通过时间感知体素特征表示场景,进一步强化了时间信息,提出了多距离插值方法,以模拟小和大的动作,加快了动态辐射场的优化,并在合成和真实场景上经过实证评估,表现出与之前动态 NeRF 方法相似甚至 - ECCV无监督多帧单目深度的物体运动和遮挡分离
这篇论文提出了一种自动学习的多帧单目深度预测方法 DynamicDepth,通过自补丁一致性学习方案训练一个新的框架,其中进行了动态物体运动分离来解决匹配问题,并设计了新型的遮挡感知代价卷积和复投影代价来减轻物体运动对遮挡的影响,实验证明该 - MotionSC: 数据集和网络用于动态环境下实时语义映射
本研究通过创建一个新的室外数据集,解决了语义场景补全(SSC)数据的空白,该数据集通过随机采样的视图形成,通过时间步骤监督完整场景的泛化能力,并构建了实时稠密本地语义映射算法 MotionSC,该算法利用了最新的 3D 深度学习架构提高 S - 动态辐射场实时渲染的傅里叶 PlenOctrees
本文提出一种基于广义 NeRF、PlenOctree 表示、体积融合和 Fourier 变换的 Fourier PlenOctree 技术,能够高效地对动态场景进行神经建模和实时渲染,实现超过 SOTA 的渲染加速。
- ECCVTemporal-MPI: 基于时间基础学习的动态场景建模多平面图像实现
本文提出了一种新的基于时间的多平面图像(Temporal-MPI)动态场景表示方法,它能够以紧凑的时间基和系数来编码整个视频的丰富 3D 和动态变化信息,并通过 Temporal-MPI 实时高质量地生成任意时刻的新视角。我们的方法在 Nv - TöRF:用于动态场景视图合成的飞行时间辐射场
本研究提出了一种基于连续波 ToF 相机的神经表征模型,改进了动态场景的重建质量及鲁棒性,讨论了将 RGB+ToF 传感器集成到现代智能手机上的益处和局限性。