Apr, 2023

多层面生成神经辐射用于三维感知图像生成

PDF
TL;DR该研究提出了一种名为 GMNR 的多平面神经辐亮度模型，其包含一个用于学习视角相关信息的新型 α 引导视角依赖表示模块（α-VdR 模块）和一个视角一致性损失，可以高效地生成视角一致的 3D 感知高分辨率图像。
3d-aware high-resolution imagesview-consistentmultiplane neural radiance modelview-dependent representationview-consistency loss
发现论文，激发创造
  • GM-NeRF: 从多角度图像中学习可推广的基于模型的神经辐射场

    提出了一种基于神经辐射场和几何引导注意力机制的方法来合成高保真度的自由视点图像，并通过实验证明其具有更好的合成效果和几何重建精度。

    Mar, 2023

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • GRAM-HD: 基于生成光辐射流形的高分辨率三维图像生成

    本文提出了一种新的 3D-aware GAN，通过在最近的生成辐射流多面体（GRAM）方法定义的一组 2D 辐射流多面体上应用 2D 卷积并应用专用的损失函数进行高效 GAN 训练，从而避免了 prohibitively-expensive 的计算成本，并能够以体积渲染的严格 3D 一致性生成高分辨率图像（高达 1024X1024）。与现有方法相比，在 FFHQ 和 AFHQv2 数据集上的实验表明，我们的方法能够产生高质量的 3D-consistent 结果，明显优于现有的方法。

    Jun, 2022

  • GRAM：用于 3D 感知图像生成的生成辐射流多面体

    提出一种在三维体积中学习隐式表面的方法，从而有效地进行点采样和辐射场学习，在保持 3D 一致性的同时生成高质量、具有真实细节的图像。

    Dec, 2021

  • 通用神经演算法：学习用于人类新视角合成的鲁棒辐射场

    使用深度学习技术，提出了一种名为 GNR 的通用神经演员框架，通过压缩轻场数据来从几何和外观方面生成新颖的视角下的人体影像，并在多视角摄像机下构建的数据集 GeneBody-1.0 上证明了其鲁棒性和通用性。

    Apr, 2022

  • MVSNeRF：多视角立体下的快速通用辐射场重建

    提出了 MVSNeRF，这是一种新颖的神经渲染方法，可以通过快速网络推理从仅三个附近输入视图重建辐射场，利用平面扫描代价体进行几何感知场景推理，并将其与基于物理的体积渲染相结合，能够横跨场景（甚至是室内场景）泛化，并仅使用三个输入图像生成逼真的视图合成结果，比类似工作在可推广的辐射场重建方面表现显著优越。

    Mar, 2021

  • MPS-NeRF：从多视角图像中渲染通用三维人体模型

    本文提出了一种简单而有效的方法，使用多视角图像作为条件输入，训练出适用于不同人的可泛化 NeRF，该方法的关键部分是将规范空间与输入和目标图像相连，并利用参数化的 3D 人体模型来导出变形，本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。

    Mar, 2022

  • 生成多层平面图像：使 2D GAN 具备 3D 感知能力

    这篇论文通过对传统的 GAN 模型 StyleGANv2 进行尽可能少的改动，引入一个多平面图像生成器和姿态条件鉴别器，实现了一种名为 “生成性多平面图像” 的输出，它的渲染不仅高质量而且保证视角的一致性，并能够在不到半天的时间内以 $1024^2$ 的分辨率训练。

    Jul, 2022

  • LOLNeRF: 从一张图片中学习

    本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法，并通过类别级别的训练数据来重建物体外形，进而实现新视角综合渲染和单目深度估计的高精度结果。

    Nov, 2021

  • GRM：高效的大型高斯重建模型用于 3D 重建和生成

    我们介绍了 GRM，一个能够从稀疏视图图像中在大约 0.1 秒内恢复 3D 资产的大规模重构器。GRM 是一个前馈变换器模型，能够高效地将多视图信息结合起来，将输入像素翻译成像素对齐的高斯分布，通过反投影生成一系列密集分布的 3D 高斯分布来表示场景。我们的变换器架构和使用 3D 高斯分布的方法共同构成了一个可扩展且高效的重构框架。广泛的实验结果证明，我们的方法在重构质量和效率方面优于其他替代方法。我们还展示了 GRM 在生成任务中的潜力，即将其与现有的多视图扩散模型集成，如文本到 3D 和图像到 3D。有关我们的项目网站，请访问：this https URL

    Mar, 2024