基于改进 NSFF 模型的子弹时间效果多视角重建

Apr, 2023

基于改进 NSFF 模型的子弹时间效果多视角重建

Multi-view reconstruction of bullet time effect based on improved NSFF model

Linquan Yu, Yan Gao, Yangtian Yan, Wentao Zeng

TL;DR本文提出了一种基于 NSFF 算法叠加重构的动态场景视角重建技术，在网络中加入模糊核以改善重建准确性，并通过光流预测信息及时抑制动态网络，解决动态场景与静态场景重构过程的过拟合问题，实验结果表明，NSFF-RFCT 算法提高了新视角动态场景的重建准确性和了解动态场景的能力。

Abstract

bullet time is a type of visual effect commonly used in film, television and games that makes time seem to slow down or stop while still preserving dynamic details in the scene. It usually requires multiple sets of cameras to move slowly with the subject and is synthesized using post-p

bullet time neural rendering field nsff algorithm reconstruction accuracy dynamic and static scenes

发现论文，激发创造

用神经场景流场进行动态场景的时空视图合成

提出了一种使用神经场地理概念表示动态场景，并利用单目视频生成新视角和时间合成的方法。通过神经网络优化新的场景流场来适应观测输入视角，并在复杂动态场景中表现出较好的性能。

Nov, 2020

iButter：用于人类自由视点渲染的神经交互式慢动作生成器

本文提出了一种神经交互式子弹时间生成器 (iButter)，用于从稠密 RGB 流中实时生成具有灵活交互设计的真实感人类体验子弹时间视觉效果，并通过轨迹感知任务填补了人类自由视点渲染技术中关键的可控性和交互式设计能力缺口.

Aug, 2021

快速神经场景流

本文提出了一种名为 “快速神经场景流”（FNSF）的方法，通过使用距离变换（DT）作为损失函数，使运行时间大大缩短，使其无需训练和偏见，从而实现了与当前最先进的学习方法相当的实时性能并成功在两个最大的自主驾驶（AV）激光雷达数据集 Waymo Open 和 Argoverse 上运行。

Apr, 2023

SceNeRFlow: 时间一致的普适动态场景重建

利用 SceNeRFlow 提出了一种基于 dynamic-NeRF 方法的时间一致的方式来重建非刚性场景，通过将形状和外观的变形分解成粗糙和微弱的两个组成部分，使得该方法可以处理大范围的运动，并且可以重建大规模运动场景。

Aug, 2023

DynMF：用于实时动态视图合成的神经运动分解与三维高斯投射

通过将动态场景分解为少数神经轨迹，我们提出了 DynMF 模型，该模型以高效紧凑的方式准确地建模动态场景和运动，具有实时视图合成能力。

Nov, 2023

神经轨迹场用于动态新视角合成

本论文提出了 DCT-NeRF，一种基于坐标的神经表示方法，用于动态场景的高质量重建，它学习空间中每个点的平稳和稳定轨迹，并强制执行序列中任意两帧之间的一致性。

May, 2021

基于事件触发的视频帧合成

提出了一个高帧率的 TVFS 框架，该框架利用来自低速基于帧的传感器和高速事件传感器的混合输入数据，融合了两种不同的数据模式，并统一了各种 TVFS 任务，即插值、预测和运动去模糊，采用自动微分对梯度进行反向传播，实验结果表明与现有技术相比性能更佳。其次，采用深度学习策略增强了第一步结果，提出了一种残差 “去噪” 方法，展现了处理具有挑战性场景的能力，包括快速运动和强烈遮挡。

Feb, 2019

使用分层神经表示的可编辑自由视角视频

本文提出了一种可编辑的逼真的自由视角视频生成方法，通过使用只有 16 个稀疏摄像头，将大规模动态场景中的每个动态实体表示为连续函数，并采用新的分层神经表示方法进行支持感知和逼真操作，并提出使用场景解析 4D 标签地图追踪和连续变形模块隐式分离时间运动，同时采用面向对象的体积渲染方案进行了再组装所有神经层，并采用新颖的分层损失和运动感知射线采样策略，实现了大规模动态场景的高效训练，并支持各种编辑功能，显示了该方法生成高质量的可编辑的自由视角视频。

Apr, 2021

物理学知识指导的神经场方法用于稀疏数据下的烟雾重建

本文提出了一种方法，通过利用流体的 Navier-Stokes 方程作为答案进行稀疏视频的端到端优化，实现通过 RGB 视频的高保真流体重构。

Jun, 2022

3DGStream: 用于高效流式传输逼真的自由视点视频的 3D 高斯模型的即时训练

3DGStream 是一种用于实时流式传输现实世界动态场景的方法，通过使用 3D 高斯（3DGs）表示场景，并利用紧凑的神经转换缓存（NTC）来建模 3DGs 的平移和旋转，从而实现了每帧 12 秒内的快速即时重建和 200 FPS 的实时渲染，同时提出了自适应 3DG 添加策略来处理动态场景中出现的新物体。实验证明，与最先进的方法相比，3DGStream 在渲染速度、图像质量、训练时间和模型存储方面表现出了竞争力。

Mar, 2024