Sep, 2023

OrthoPlanes：GANs 的更好 3D 感知的新表示方法

PDF
TL;DR我们提出了一种新的方法，通过 2D 图像集合生成具有精细几何形状且视角一致的逼真图像。我们的方法使用一个名为 OrthoPlanes 的混合显式 - 隐式表示，它在功能图中编码了细粒度的 3D 信息，并通过修改 2D StyleGANs 可以高效地生成。与以前的表示相比，我们的方法具有更好的可伸缩性和表达能力，提供明确和显式的信息。因此，我们的方法可以处理更具挑战性的视角，并合成具有高度空间自由度的关节对象。实验证明，我们的方法在 FFHQ 和 SHHQ 数据集上在定量和定性上都达到了最先进的结果。项目页面：https://orthoplanes.github.io/。
发现论文，激发创造
  • PlaneDepth: 基于正交平面的自监督深度估计

    本文提出了一种基于正交平面的深度估计方法 PlaneDepth，使自监督学习中的深度估计更为精确，同时解决了自动驾驶中分割、补洞等问题，实现了无监督地提取地面平面，为自动驾驶技术的发展提供了有效支持。

    Oct, 2022

  • 基于参考的三元面 3D 感知图像编辑

    通过对 EG3D 的三平面空间的探索和演示，本研究提供了一个集成框架，用于实现高质量的基于参考的三维感知图像编辑，并通过创新的流程在三维感知图像编辑方面呈现出独特的视角。

    Apr, 2024

  • 高效几何感知的三维生成对抗网络

    使用单视角 2D 照片集合进行高质量多视角一致的图片和 3D 形状的非监督生成一直是一个难题，本文提出了一种混合显式 - 隐式网络架构，用于提高 3D GANs 的计算效率和图像质量，实现了高分辨率实时多视角一致的图像合成，同时产生高质量的 3D 几何体。

    Dec, 2021

  • 生成多层平面图像：使 2D GAN 具备 3D 感知能力

    这篇论文通过对传统的 GAN 模型 StyleGANv2 进行尽可能少的改动，引入一个多平面图像生成器和姿态条件鉴别器，实现了一种名为 “生成性多平面图像” 的输出，它的渲染不仅高质量而且保证视角的一致性，并能够在不到半天的时间内以 $1024^2$ 的分辨率训练。

    Jul, 2022

  • AirPlanes: 通过 3D 一致嵌入实现准确的飞机估计

    本文提出一种新方法，通过预测多视角一致的平面嵌入来辅助几何方法，将点进行聚类成平面，从而解决了在场景中估计平面表面的问题，并在 ScanNetV2 数据集上表明，该方法优于现有方法和强基线的平面估计任务。

    Jun, 2024

  • PlaneFormers：从稀疏视图到三维重建

    本文提出了一种用于从有限重叠的图像重建场景平面表面的方法，并介绍了一种新的基于 transformer 的简化方法，PlaneFormer，它是通过对 3D 感知平面记号应用变换器来进行 3D 推理。实验表明，本文的方法比之前的方法更加有效。

    Aug, 2022

  • SYM3D：学习对称三视平面提升 GAN 的三维感知能力

    提出了 SYM3D，一种新颖的 3D-aware GAN，通过利用自然和人造物体中普遍存在的反射对称结构，结合提出的视角感知空间注意机制来学习三维表示，从而在只使用单视图图像进行训练时捕捉详细的几何和纹理，同时证明了在文本到三维任务中利用对称性正则化有助于减少模型中的伪影。

    Jun, 2024

  • 基于 ImageNet 中的野外图像的几何感知 3D 生成

    从多样且非结构化的 Imagenet 数据集中，我们提出了一种从二维图像中重建三维几何模型的方法，使用高效的三平面表示法学习三维模型，并基于 StyleGAN2 的生成器架构对高度多样化的数据集进行调整，通过多视点辨别防止模式崩溃并提升训练稳定性。

    Jan, 2024

  • SphereHead: 基于球面三平面表示的稳定三维全头合成

    通过使用球面坐标系中的新型三平面表示，以及引入视图 - 图像一致性损失来减少生成的伪影，该研究提出了一种解决全方位，全角度三维头部合成挑战的方法。

    Apr, 2024

  • 基于单视角 RGB-D 的占据平面人体重建

    该研究通过使用 OPlanes 表示法，将单视图 RGB-D 人类重建问题转化为在通过相机视锥切面的平面上的占位符预测，从而实现更精确的预测结果。在具有其他障碍物和部分可见性的复杂情况下，该方法在 S3D 数据上实现了更好的表现。

    Aug, 2022