CVPRApr, 2023

用动态 MLP 地图表示立体视频

PDF
TL;DR本文提出了一种用于动态场景实时视角合成的体积视频新表示法，通过使用浅层 MLP 网格和共享的 2D CNN 解码器动态预测 MLP 参数，显著提高了渲染速度并降低了存储成本，实验表明，该方法在渲染质量上实现了最先进的水平，同时能够通过 RTX 3090 GPU 以 41.7fps 的速度对 $512 imes 512$ 的图像实时渲染。
volumetric videosneural scene representationsreal-time view synthesisshallow mlp networks2d cnn decoder
发现论文，激发创造
  • 学习动态人体的神经体积表示，仅需数分钟

    本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法，通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度，实验表明该模型与传统优化方法相比，在渲染质量上有竞争力，但学习速度更快。

    Feb, 2023

  • 神经体积：从图像中学习动态可渲染的体积

    通过学习，我们提出了一种表示动态物体的方法，该方法由编码器 - 解码器网络和可微分的射线行进操作组成，它不需要明确重建或跟踪物体，使用了 3D 体积表示法，表现出更好的图像质量，为高分辨率应用提供了一种从表面到体积的方法

    Jun, 2019

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • V4D: 4D 视角合成的体素方法

    本文提出了一种利用 3D Voxel 建模 4D 神经辐射场的方法，即 V4D, 并使用 LUTs 格式和条件位置编码来改进新视图综合任务的表现，实验表明该方法在低计算成本下取得了最先进的表现。

    May, 2022

  • 混合神经体素用于快速多视角视频合成

    本文提出了一种名为 MixVoxels 的新方法，其通过将 4D 动态场景表示为静态和动态体素的混合，并使用不同的网络对其进行处理，以更好地表示动态场景，并提出了一种新型的变分场来估计每个体素的时间方差，以区分两种体素类型，并采用内积时间查询方法高效地查询多个时间步骤，从而在短时间内训练（15 min）得出比以前的方法更好的 PSNR。

    Dec, 2022

  • VoxGRAF: 基于稀疏体素网格的快速 3D 感知图像合成

    利用稀疏像素网格表示快速且三维一致地进行生成建模，通过融合渐进式生长、自由空间修剪和适当的正则化方法将单块的 MLPs 替换成三维卷积，实现对具有高视觉保真度的三维场景的高效渲染。

    Jun, 2022

  • Im4D: 动态场景的高保真实时新视角合成

    本文介绍了一种名为 Im4D 的混合场景表示方法，在动态视图合成方面表现出了先进的性能和高效的训练能力。

    Oct, 2023

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020