CVPRNov, 2021

场景表征变换器：通过隐式场景表征进行无几何新视图合成

PDF
TL;DR该论文提出了一种名为 SRT 的方法，用于从少量 RGB 图像中推断出 3D 场景表示，并在单个前向传递过程中合成新视图，使其超越了最近的基线。
computer vision3d scene representationscene representation transformervision transformernovel views
发现论文，激发创造
  • RUST: 从非构图图像中生成潜在神经场景表示

    提出了 RUST（真正未放置的场景表示变换器）方法，一种仅基于 RGB 图像进行训练的无姿态方法，该方法使用 Pose 编码器获取目标图像，并学习一个潜在的姿态嵌入以供视图综合使用，证明其性能可以与具有完美摄像机姿态访问的方法相似，从而释放使用摊销神经场景表示进行大规模训练的潜力。

    Nov, 2022

  • 物体场景表示变换器

    本文提出 Object Scene Representation Transformer (OSRT)，一种 3D 中心模型，通过新视角综合技术，能够在无监督学习中从复杂场景中学习到基于对象及其几何形状的 3D 一致分解表示，且其轻量级参数化和新的 Slot Mixer 解码器让其在合成渲染方面比现有方法快多个数量级。

    Jun, 2022

  • RePAST：相对姿态注意场景表示变换器

    本文提出了一种名为 Relative Pose Attention SRT (RePAST) 的方法，通过将相对的相机位姿信息注入到 Transformers 的注意机制中，使得其对任何全局参考帧的选择都具有不变性，同时仍保留了原始方法的全部功能，从而可以将完全潜在的基于 Transformer 的渲染方法应用于大规模场景。

    Apr, 2023

  • ViewFormer：使用 Transformer 从少量图像实现无 NeRF 神经渲染

    本研究提出了一种基于 2D 的神经网络方法，结合编码键和转换模型，用于实现新颖视角合成，在不需要显式 3D 理解的情况下，相比于 NeRF 方法更高效。

    Mar, 2022

  • 单输入图像视角合成的视觉 Transformer 网络

    本研究提出利用全局和局部特征构建表达式三维模型的方法，通过训练 MLP 网络，实现从单个未定位图像中合成新视角，并在多个物体类别上进行泛化，获得了比现有方法更出色的性能和更丰富的细节渲染。

    Jul, 2022

  • 从宽基线立体对学习生成新视角

    介绍了一种用于单个广角立体图像对的新视角合成的方法，包括 3D 场景重构和外观变化的先验模型，提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器，通过大规模实际数据集的训练，证明了模型学习到了强大的多视角几何先验，大大缩短了渲染时间，并在两个实际数据集上得到了显著的优越性能。

    Apr, 2023

  • 场景表示网络：连续的三维结构感知神经场景表示

    提出了一种连续三维结构感知场景表征模型 Scene Representation Networks (SRNs)，能够通过不需要深度或形状信息的二维图像及其相机姿态进行端到端训练， 并在视角合成、少样本重建、形状外插及表现插值等任务中展示出潜力。

    Jun, 2019

  • 3D-LatentMapper：三维形状的视角无关的单视图重建

    本文提出了一种新的框架，利用 Vision Transformer（ViT）和联合图像 - 文本表示模型 CLIP 的中间潜空间，用于单视图重建，通过学习从 ViT 和 CLIP 提取的深度特征与基础 3D 生成模型的潜在空间之间的映射来揭示 3D 形状的重建，且能够实现视角不受限和大遮挡情况下的 3D 形状重建。

    Dec, 2022

  • 快速明确的神经视图合成

    本文研究了从稀疏源观测中合成新视角的问题，提出了一种简单而有效的方法，通过将观测编码到体积表示中进行摊销渲染，并通过自我监督信号实现了对 3D 几何的有效学习。

    Jul, 2021

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023