May, 2023

实时辐射场用于单张图像人像视角合成

PDF
TL;DR该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法，使用基于视觉 Transformer 的三面板编码器，利用合成数据进行训练，通过卷积渲染技术对神经辐射场的规范三面板进行重建，可以在具有 3D 感知图像生成器的其他类别中应用。
photorealistic 3d representationneural radiance fieldnovel view synthesisgan-inversion baselinesvision transformer
发现论文，激发创造
  • 从单张图像中生成人像神经辐射场

    本文提出了一种从单张头像照片中估计神经辐射场（NeRF）的方法，该方法使用亮度舞台肖像数据集预训练多层感知机（MLP）的权重，通过 3D 面部可塑模型逼近标准坐标空间以提高对未知面孔的泛化性能，并对其进行了定量评估，表明其对真实肖像图像的泛化效果优越。

    Dec, 2020

  • TriPlaneNet: EG3D 反演编码器

    该论文介绍了一种基于三平面表示的实时方法，该方法直接利用编码器进行潜在编码，并将其扩展为三平面数值偏移的全卷积预测器，从而弥合了当今用于高质量变形和重新渲染存在的方法之间的差距。

    Mar, 2023

  • 从单目图像学习详细辐射流形，实现高保真和三维一致的肖像合成

    该研究基于生成光辐射流流形模型的最近提出的 3D 感知 GAN-Gram，介绍了一种适用于单目头像的三维相容视角合成方法，该方法使用细节流形重构器来学习纹理细节，并将其与光辐射流流形相结合，以实现高保真三维头像重建。

    Nov, 2022

  • 生成式神经关节辐射场

    提出使用 3D GAN 框架对人体或脸部特征进行辐射场生成，通过显式变形场将其变形为期望的姿势或表情，并展示了编辑生成体或脸部特征时显式变形训练过程在提高其质量方面的显著优势。

    Jun, 2022

  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020

  • FENeRF: 神经辐射场中的人脸编辑

    使用 FENeRF 三维图像生成器，为了在保持视觉一致性的同时生成本地可编辑的肖像图像，我们提出了一种方法。

    Nov, 2021

  • SynSin：从单张图像到端到端的视角合成

    本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。

    Dec, 2019

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • Pix2NeRF: 单图像生成神经辐射场的无监督有条件 π-GAN

    本文提出了一种基于神经辐射场的管线，能够生成特定类别物件或场景的 NeRF， 并能够利用自动编码器构建无监督的 3D 感知图像合成模型，特别是能够基于单张图像进行物体视角的生成。

    Feb, 2022

  • 通过三平面融合进行一致的三维肖像视频重建

    通过使用融合个性化 3D 模型与帧间信息的新方法，我们能够实现从单个摄像头实时流式传输带有用户各帧外观真实重建的 3D 肖像视频，从而使远程存在变得普及化。

    May, 2024