用神经场景流场进行动态场景的时空视图合成
提出了一种新的 3D 视频合成方法,使用神经辐射场表示动态实景,并使用一种紧凑的表现方式,能够高质量地合成视图和插值运动,其动态场景建模方法在视角合成和动态场景表示方面都表现良好。
Mar, 2021
该研究提出了一种基于神经隐式表示及不可导函数的算法,能够从动态场景中的单目视频中生成任意视角和任意输入时间步长下的新视图;通过联合训练一个不变的静态 NeRF 和一个时间变化的动态 NeRF,以及使用正则化约束的方式解决了样本不足的问题,其在大量数据和质量实验效果上获得了良好的表现。
May, 2021
本论文提出了 DCT-NeRF,一种基于坐标的神经表示方法,用于动态场景的高质量重建,它学习空间中每个点的平稳和稳定轨迹,并强制执行序列中任意两帧之间的一致性。
May, 2021
本文中,我们提出了 Semantic Flow,一种从单 ocular videos 中学习动态场景的神经语义表示。与以往的 NeRF 方法不同,它通过包含丰富的三维运动信息的连续流来学习语义。我们考虑从二维视频帧中提取三维流特征时视线方向上的二维到三维模糊问题,将体积密度视为描述流特征对帧语义贡献的不透明度先验。我们首先学习流网络预测动态场景中的流,并提出流特征聚合模块从视频帧中提取流特征。然后,我们提出流注意模块从流特征中提取运动信息,随后是语义网络输出流的语义 logits。我们将 logits 与视线方向上的体积密度相结合,以在视频帧上监督流特征与语义标签的学习。实验结果表明,我们的模型能够学习多个动态场景,并支持一系列新任务,如实例级场景编辑、语义补全、动态场景跟踪和对新场景的语义适应。可在此 https URL 获取代码。
Apr, 2024
该研究提出了一种从单个视频学习动态场景的时空神经辐射场的方法,能实现自由视角渲染输入视频。该学习方法建立在最近关于内隐表示的进展之上,利用视频深度估计方法的场景深度来约束我们的动态场景表示的时变几何,将单个帧中内容聚合为一个全局表示,并提供了广泛的定量评估和引人注目的自由视点渲染结果。
Nov, 2020
本文旨在从多视角视频中建模 3D 场景的动态。我们提出了一种新的方法,通过仅利用视频帧学习 3D 场景的几何、外观和物理速度,从而支持多种理想的应用,包括未来帧插值、无监督的 3D 语义场景分解和动态运动传递。
Dec, 2023
我们提出了一种称为神经辐射流(NeRFlow)的方法,可以从一组 RGB 图像中学习动态场景的 4D 时空表示,使得不需要多个相机拍摄即可实现多视角渲染,同时可用作视频处理任务的隐式场景先验。
Dec, 2020
通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型,然后将知识从微调的模型提取到包含动态和静态神经辐射场(NeRF)组件的 4D 表示中,实现几何一致性并保持场景的一致性,从而进一步推进动态新视角合成。
Jan, 2024
利用 SceNeRFlow 提出了一种基于 dynamic-NeRF 方法的时间一致的方式来重建非刚性场景,通过将形状和外观的变形分解成粗糙和微弱的两个组成部分,使得该方法可以处理大范围的运动,并且可以重建大规模运动场景。
Aug, 2023