May, 2021

学习新视角的风格化

PDF
TL;DR本文提出一种基于点云的方法，通过反投影图像特征到 3D 空间、点云聚合模块获取 3D 场景的风格信息并用线性转换矩阵对点云特征进行变换、将变换后的特征投影到 2D 空间获得新视角来生成具有一致风格的 3D 场景，实验证明该方法相比其他方法生成的配景画面更加一致和美观。
发现论文，激发创造
  • 3D 照片风格化：从单张图像学习生成风格化新视角

    本文提出了一个深度模型，在场景的点云表示中学习基于几何感知的内容特征，以生成高质量且在视图上具有一致性的艺术化图像，从而实现了从单个图像到任意风格化图像的 3D 照片艺术化生成，并在定性和定量研究中展示了方法的优越性。

    Nov, 2021

  • 通过隐式表示和超网络实现 3D 场景的风格化

    本文提出了一种基于 Neural Radiance Fields 的 3D 场景风格化方法，包括了使用超网络将样式信息转移入场景表示、使用隐式表示模型将场景分离成几何和外观分支，并采用两阶段训练和修补子采样方法优化模型以在任意视角生成具有所需风格的场景。

    May, 2021

  • 从宽基线立体对学习生成新视角

    介绍了一种用于单个广角立体图像对的新视角合成的方法，包括 3D 场景重构和外观变化的先验模型，提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器，通过大规模实际数据集的训练，证明了模型学习到了强大的多视角几何先验，大大缩短了渲染时间，并在两个实际数据集上得到了显著的优越性能。

    Apr, 2023

  • 使用 3D 感知扩散模型实现生成新视图综合

    使用基于扩散的模型，结合现有的二维扩散骨架和三维特征体，进行三维感知的图像生成，同时具备自回归生成 3D 一致的序列能力。在合成渲染图像和实际物体上展示了最先进的效果。

    Apr, 2023

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 用于单图像新视角合成的几何感知深度网络

    本文提出了一种利用场景 3D 几何信息进行新视角生成的方法，通过学习区域感知几何转换网络实现输入图像到目标视角的变换，并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。

    Apr, 2018

  • 通用新视角合成的可调视觉外观

    本文提出了一种通用的视图综合方法，其中可以修改渲染视图的视觉外观以匹配目标天气或照明条件，该方法基于通用的变压器架构，在不同的外观条件下训练了合成生成的场景，从而实现了对未包含在训练集中的 3D 场景的新颖视图的一致呈现，包括（i）修改它们的外观以匹配目标条件和（ii）在不同条件之间平滑插值。

    Jun, 2023

  • 场景条件下的三维物体风格化与组合

    通过结合建模和优化对象的纹理和环境光照，本论文提出了一个框架，使得现有的 3D 资源能够适应给定的 2D 场景，同时生成一种真实感的组合效果，使得假定的对象能够放入该环境中。

    Dec, 2023

  • 快速明确的神经视图合成

    本文研究了从稀疏源观测中合成新视角的问题，提出了一种简单而有效的方法，通过将观测编码到体积表示中进行摊销渲染，并通过自我监督信号实现了对 3D 几何的有效学习。

    Jul, 2021

  • 室内场景的单个 RGBD 图像的新视角合成

    本文提出了一种从单个 RGBD 输入合成新视角图像的方法，通过利用 RGBD 图像中嵌入的深度信息，将 NVS 任务转换成图像转换问题，并使用生成对抗网络实现类似于从新视角拍摄的照片的结果，而不受传统多图像技术的限制。

    Nov, 2023