Oct, 2022

单图像神经场实现机器人物体操作

PDF
TL;DR通过利用神经辐射场（NeRF）的一个紧凑的单一图像表示，我们能够从单一图像中推断物体渲染，三维重建和抓握姿势预测，从而比先前方案小两个到三个数量级，而实现可比的视图重建和抓握性能。
object rendering3d reconstructiongrasp pose predictionneural radiance fieldcompact shape representation
发现论文，激发创造
  • 神经辐射世界中的仅视觉机器人导航

    利用神经辐射场（Neural Radiance Fields）的连续体密度和 RGB 值的神经网络，以及基于射线追踪的方式生成真实照片，我们提出了一种利用机载 RGB 摄像头的算法，使机器人在 NeRF 表示的 3D 场景中导航，并通过一种优化算法避免与高密度区域的碰撞，并在线重新规划路径。

    Oct, 2021

  • pixelNeRF：从一张或少量图像中生成神经辐射场

    我们提出了一种名为 pixelNeRF 的学习框架，可以在仅有一张或几张输入图像的条件下预测连续的神经场景表示。与现有方法相比，我们的体系结构不需要每个场景都进行优化，从而使得在仅有一张图像的情况下就可以执行视角的合成和单幅图像的三维重建。经过大量的实验证明，我们的模型在形状、类别和实景等方面都优于现有的最先进技术。

    Dec, 2020

  • 通过引导辐射场反演从单张图像中提取形状、姿态和外观

    使用神经辐射场和 GAN 相结合的方法在 3D 重建领域具有前景，但大多数现有方法忽略了准确地估计姿态，而本文提出的一种基于自然图像的端到端重建框架则能解决这一问题，使得单个图像就能恢复 3D 形状、姿态和外观，且表现良好。

    Nov, 2022

  • 使用可推广的 NeRF 基于多视角的透明和高光物体的 6-DoF 抓取检测 GraspNeRF

    本文提出了一种基于多视角 RGB 的 6 自由度预抓取检测网络 GraspNeRF，利用可转换的神经辐射场（NeRF）实现材料无关的物体预抓取，在杂乱的环境下可实时检测出 6 自由度的抓取，实验结果表明该方法在合成和真实环境中表现优异。

    Oct, 2022

  • FiG-NeRF：面向三维对象分类建模的图形 - 背景神经辐射场

    本研究使用神经辐射场（NeRF）从输入图像集合中学习高质量的三维物体类别模型，通过 2 组件 NeRF 模型，FiG-NeRF，实现场景的几何恒定背景和可变形前景的分离，从而仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型，并且可以进行精确清晰的无模分割和视图合成，并使用综合测量方法对方法进行定量评估。

    Apr, 2021

  • HandNeRF：从单个 RGB 图像学习重建手物体交互场景

    该论文提出了一种学习手物体交互的方法，通过从单个 RGB 图像中重建 3D 手物体场景。利用手形状来约束手和物体几何的相对配置，设计了可泛化的隐式函数 HandNeRF，以预测手和物体场景的几何关系。实验证明，HandNeRF 能够比其他相似方法更准确地重建新抓取配置的手物体场景，并确保从 HandNeRF 重建的物体对于机器人手交更加准确。

    Sep, 2023

  • HandNeRF: 可交互手部的神经辐射场

    该文提出了一个新的框架，使用神经辐射场（NeRF）重建手的外观和几何，使得能够从任意视角呈现手势动画的逼真图像和视频，并利用姿势驱动的变形场等方法实现了手外观与几何的合理映射，同时在密度学习中使用了伪深度图进行遮挡处理，最终在多项实验证明了该方法的有效性。

    Mar, 2023

  • NeuMan: 从单个视频中获取人类神经辐射字段

    本文提出了一个新的框架，用于从野外视频中重建人体和场景，并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型（human 和 scene），并依赖现有方法估计人体和场景的大致几何形状，可以从观察空间创建到无关姿态的规范空间的偏移场，进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节，包括服装褶皱和配件，并提供在新视角和新姿势下人体的高质量渲染和背景。

    Mar, 2022

  • 工业与机器人领域中的神经辐射场：应用、研究机会和使用案例

    该研究论文通过详细研究神经辐射场（NeRF）在工业应用领域的潜力，并提供未来研究方向，证明了 NeRF 在工业领域的潜力。此外，论文还展示了 NeRF 在视频压缩和三维运动估计方面的实验结果，证明了它们在这些应用中的有效性。

    Aug, 2023

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021