Dec, 2022

混合神经体素用于快速多视角视频合成

PDF
TL;DR本文提出了一种名为 MixVoxels 的新方法，其通过将 4D 动态场景表示为静态和动态体素的混合，并使用不同的网络对其进行处理，以更好地表示动态场景，并提出了一种新型的变分场来估计每个体素的时间方差，以区分两种体素类型，并采用内积时间查询方法高效地查询多个时间步骤，从而在短时间内训练（15 min）得出比以前的方法更好的 PSNR。
发现论文，激发创造
  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • 学习动态人体的神经体积表示，仅需数分钟

    本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法，通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度，实验表明该模型与传统优化方法相比，在渲染质量上有竞争力，但学习速度更快。

    Feb, 2023

  • V4D: 4D 视角合成的体素方法

    本文提出了一种利用 3D Voxel 建模 4D 神经辐射场的方法，即 V4D, 并使用 LUTs 格式和条件位置编码来改进新视图综合任务的表现，实验表明该方法在低计算成本下取得了最先进的表现。

    May, 2022

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 具有时间感知的快速动态辐射场神经体素

    介绍了一种称为 TiNeuVox 的辐射场框架，通过时间感知体素特征表示场景，进一步强化了时间信息，提出了多距离插值方法，以模拟小和大的动作，加快了动态辐射场的优化，并在合成和真实场景上经过实证评估，表现出与之前动态 NeRF 方法相似甚至更好的渲染性能。

    May, 2022

  • Im4D: 动态场景的高保真实时新视角合成

    本文介绍了一种名为 Im4D 的混合场景表示方法，在动态视图合成方面表现出了先进的性能和高效的训练能力。

    Oct, 2023

  • 基于深度 3D 掩模体的动态场景视图合成

    使用 Deep 3D Mask Volume 算法，基于自定义的 10 相机固定拍摄装置拍摄的 96 个高质量场景的多视角视频数据集，解决了动态场景视频视野合成中存在的一些挑战，实现了从静态相机拍摄的双目视频中的视角扩展，具有比逐帧静态视点合成方法或使用 2D 遮罩的方法更好的时间稳定性和较少的闪烁伪影，且允许更大的平移运动。

    Aug, 2021

  • 神经体积：从图像中学习动态可渲染的体积

    通过学习，我们提出了一种表示动态物体的方法，该方法由编码器 - 解码器网络和可微分的射线行进操作组成，它不需要明确重建或跟踪物体，使用了 3D 体积表示法，表现出更好的图像质量，为高分辨率应用提供了一种从表面到体积的方法

    Jun, 2019

  • 用动态 MLP 地图表示立体视频

    本文提出了一种用于动态场景实时视角合成的体积视频新表示法，通过使用浅层 MLP 网格和共享的 2D CNN 解码器动态预测 MLP 参数，显著提高了渲染速度并降低了存储成本，实验表明，该方法在渲染质量上实现了最先进的水平，同时能够通过 RTX 3090 GPU 以 41.7fps 的速度对 $512 imes 512$ 的图像实时渲染。

    Apr, 2023

  • 单目视频的动态视图合成的扩散先验

    通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型，然后将知识从微调的模型提取到包含动态和静态神经辐射场（NeRF）组件的 4D 表示中，实现几何一致性并保持场景的一致性，从而进一步推进动态新视角合成。

    Jan, 2024