CVPRJun, 2024

NeRF Director：神经体积渲染中的视角选择再审视

PDF
TL;DR论文通过演示在最广泛的 NeRF 数据集中对测试视图进行简单旋转可以导致现有先进技术的性能排名发生重大偏移，阐明了视图选择的重要性。为了解决这一挑战，作者提出了一个统一的视图选择方法框架，并设计了全面的评估标准来评估其影响。通过集中关注重建对象的均匀视图覆盖，无需利用误差或不确定性估计，可以实现显著的改进，从而实现快速获得高质量的渲染效果。通过在合成数据集和现实数据上进行广泛实验，与随机选择、传统基于误差的选择和基于不确定性引导的选择相比，证明了所提方法的有效性。
发现论文，激发创造
  • 通过渐进相机布置提升 NeRF 在复杂环境中的质量

    优化 NeRF 模型时，良好的数据样本和有效的相机位置选择对于最终重建的可视化质量至关重要。本研究提出了一种算法，能够以最少的假设来提供改善可视化质量的新相机位置，并在各方面优于基线和类似方法。

    Aug, 2023

  • 快速神经辐射场重建的体积特征渲染

    本研究提出了将本应在神经网络评估后再进行渲染的颜色，改为直接渲染出射线查询的特征向量，从而大幅降低了神经网络评估的复杂度和计算开销，并取得了较好的渲染质量。

    May, 2023

  • 单输入图像视角合成的视觉 Transformer 网络

    本研究提出利用全局和局部特征构建表达式三维模型的方法，通过训练 MLP 网络，实现从单个未定位图像中合成新视角，并在多个物体类别上进行泛化，获得了比现有方法更出色的性能和更丰富的细节渲染。

    Jul, 2022

  • 分而治之：重新思考神经辐射场的训练范式

    通过将输入视图按照其视觉相似性划分为多个组，并在每个组上训练单独的模型，然后通过教师 - 学生蒸馏范式将这些专门模型的知识聚合为一个实体，我们重新设计了 NeRF 的训练范式，提高了其渲染质量并实现了空间效率。

    Jan, 2024

  • 用于少样本神经辐射场的信息光线选择

    KeyNeRF 是一种在少样本情况下训练 NeRF 的简单而有效的方法，通过关注关键信息光线，首先通过一个视图选择算法在相机级别选择这样的光线，该算法在促进基线多样性的同时保证场景全面覆盖，然后通过基于局部图像熵的概率分布进行像素级的采样。我们的方法在与最先进的方法进行比较时表现出色，同时对现有的 NeRF 代码库的改动要求较小。

    Dec, 2023

  • 神经体积物体选取

    该研究提出了一种在神经体积三维表示中选择对象的方法，并通过新的数据集证明了其有效性。

    May, 2022

  • 基于数据驱动的视角集选择：学习注视点的方法用于 3D 场景

    本文提出了一种基于数据驱动方法的视图集合选择算法，通过建模图像视图体积内每个语义对象类别的空间分布，生成可能候选视图样本的采样和选择视图集合的算法，通过 SUNCG 上的实验表明，该算法能够根据示例分布生成与 NYUDv2 的相似视图分布，选定的视图与替代视图选择算法相比，能够提高语义分割性能。

    Apr, 2017

  • ViewFormer：使用 Transformer 从少量图像实现无 NeRF 神经渲染

    本研究提出了一种基于 2D 的神经网络方法，结合编码键和转换模型，用于实现新颖视角合成，在不需要显式 3D 理解的情况下，相比于 NeRF 方法更高效。

    Mar, 2022

  • 提高深度辐射场小说视图合成质量的方法与策略

    NeRF 技术可以从 2D 图像中学习场景的 3D 隐式模型，并合成逼真的新视角图像。本研究分析了过去三年中涉及 NeRF 图像渲染质量改进的最新相关论文，探讨了质量改进方法背后的技术原理，并讨论了质量改进方法未来的演进方向，有助于研究人员快速了解该领域技术的当前状态和演进背景，对于激发更高效算法的开发和推动 NeRF 技术在相关领域的应用具有帮助。

    Jan, 2024

  • MPS-NeRF：从多视角图像中渲染通用三维人体模型

    本文提出了一种简单而有效的方法，使用多视角图像作为条件输入，训练出适用于不同人的可泛化 NeRF，该方法的关键部分是将规范空间与输入和目标图像相连，并利用参数化的 3D 人体模型来导出变形，本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。

    Mar, 2022