Mar, 2023

AssetField: 基于地面特征平面表示的资产挖掘与重构

PDF
TL;DR该论文提出了一种新颖的神经场景表示方法 AssetField，通过学习一组对象感知的地面特征平面来表示场景，可以构建无监督的模板库。此表示法可以自然地将场景可视化为俯视图，在对象上进行各种操作，同时可以对包含多个重复物品的场景进行集体编辑，避免冗余工作。实验结果表明，AssetField 不仅可以实现新视角合成的竞争性性能，而且可以为新的场景配置生成逼真的渲染。
neural scene representationground feature planesasset libraryrepetitive environmentsgroup editing
发现论文，激发创造
  • 快速高效：用于 3D 场景分割的掩模神经场

    通过底层模型的信号转换，快速高效地进行弱监督下的 3D 场景分割。

    Jul, 2024

  • 大城市场景的网格引导神经辐射场

    该研究提出了一个新的框架用于实现对大型城市场景的高保真渲染，该框架运用了一种简化的多分辨率地面特征平面表示来捕捉场景，并通过另一个 NeRF 分支的位置编码输入进行补充，以联合学习的方式进行渲染。

    Mar, 2023

  • GIRAFFE: 通过组合生成神经特征场来表示场景

    本研究通过将基于组合的 3D 场景表示方法引入生成模型中，以实现更可控的图像合成。实验证明，该模型能够分离物体并实现场景中的物体变换、摆放等操作。

    Nov, 2020

  • 神经资产：交互环境下的体积对象捕捉与渲染

    本研究提出了一种使用神经渲染的方法，利用新颖的神经表征重构对象的透明部分，并保留物体的逼真外观，使用非常高效的着色器代码支持实时渲染，并通过标准的着色器代码生成，实现与现有硬件和软件系统的无缝集成。

    Dec, 2022

  • 移动机器人操作的学习通用特征场

    本研究提出了一种名为 GeFF（通用特征场）的场景级通用神经特征场，作为导航和操作的统一表示，实时性能良好，并在四足机器人上部署，评估了其对开放集对象和动态场景中进行移动操作的泛化能力和运行时间。

    Mar, 2024

  • 通过特征场蒸馏分解 NeRF 以进行编辑

    本文提出通过蒸馏出自监督的 2D 图像特征提取器的知识，优化一种针对 NeRF 的 3D 特征场，从而实现语义场景分解以及针对局部区域的查询式编辑，从而实现结构编辑的目的。通过实验证明，3D 特征场可以将最近在 2D 视觉和语言基础模型中取得的进展应用于 3D 场景表示，从而实现令人信服的 3D 分割和选择性编辑。

    May, 2022

  • HexPlane：快速的动态场景表示

    通过学习特征的六个平面对动态 3D 场景的显式建模，开发了一种高效的解决方案，称为 HexPlane，在节约训练时间的同时，能够在视角合成方面取得与之前研究相匹配的结果。

    Jan, 2023

  • 使用三面体扩散生成 3D 神经场

    本研究提出了一种基于扩散模型的高效的神经场三维生成方法，通过将训练数据转换为连续占据场并将其分解为一组轴对齐的三面体特征表示来实现，训练过程中，采用现有的二维扩散模型对这些特征表示进行训练，生成高质量和多样性的三维神经场，且优于其他三维生成方法。

    Nov, 2022

  • 蒸馏特征场在少样本语言引导操纵中的应用

    使用自我监督学习和语言监督学习的图像模型，结合精确的 3D 几何知识和丰富的 2D 语义特征，提出一种在机器人操作中填补 2D 到 3D 差距的方法，实现对未知物体的自由文本自我指定和泛化到其他物体类别的能力。

    Jul, 2023

  • 全景神经场：一种语义对象感知的神经场景表示

    我们提出了全视场神经场（PNF），这是一种对象感知的场景神经表示，可将场景分解为一组对象和背景。每个对象都由一个定向的 3D 边界框和一个多层感知器（MLP）表示，可以采取位置、方向和时间并输出密度和辐射率。

    May, 2022