Feb, 2024

NCRF: 神经接触辐射场技术用于自由视角渲染手 - 物体交互

PDF
TL;DR手 - 物体交互模型是三维计算机视觉中一项根本性的挑战任务。尽管在这一领域已取得了显著的进展，但现有方法仍无法实现逼真的手 - 物体交互合成，因为手和物体之间存在严重的互相遮挡和不准确的姿态估计所导致的渲染质量下降。为了解决这些挑战，我们提出了一种新颖的自由视点渲染框架，即神经接触辐射场（NCRF），用于从稀疏的视频集合中重建手 - 物体交互。尤其值得注意的是，我们的 NCRF 框架由两个关键组件组成：（a）接触优化场，用于从 3D 查询点预测准确的接触场，以实现手和物体之间的理想接触；（b）手 - 物体神经辐射场，用于在静态规范空间中学习隐式的手 - 物体表示，与专门设计的手 - 物体运动场结合以产生观察到规范的对应关系。我们共同学习这些关键组件，它们相互帮助并相互规范，通过视觉和几何约束生成高质量的手 - 物体重建，实现逼真的新视图合成。在 HO3D 和 DexYCB 数据集上进行了大量实验证明我们的方法在渲染质量和姿态估计准确性方面优于当前最先进的方法。
hand-object interactions3d computer visionfree-viewpoint renderingneural contact radiance fieldpose estimation
发现论文，激发创造
  • HandNeRF: 可交互手部的神经辐射场

    该文提出了一个新的框架，使用神经辐射场（NeRF）重建手的外观和几何，使得能够从任意视角呈现手势动画的逼真图像和视频，并利用姿势驱动的变形场等方法实现了手外观与几何的合理映射，同时在密度学习中使用了伪深度图进行遮挡处理，最终在多项实验证明了该方法的有效性。

    Mar, 2023

  • 基于三维可见性感知的通用神经辐射场模型用于交互手部

    这篇论文提出了一种可推广的可见性感知交互手部 NeRF（VA-NeRF）框架，通过利用可见性信息和改进的对抗学习，能够更好地还原具有交互的手部场景中不可见区域的特征，从而在 Interhand2.6M 数据集上取得显著的性能提升。

    Jan, 2024

  • 来自非约束图像集的新视角合成的 Cross-Ray 神经辐射场

    本文提出了一种名为 Cross-Ray NeRF 的方法，通过利用交互信息合成视野，在处理过场景图像时能有效地减少遮挡和幽灵物体等问题。

    Jul, 2023

  • 使用射线模型导数的卷积神经辐射场方法进行新视角综合

    本研究提出了一种基于卷积神经辐射场的方法来解决现有方法中存在的问题，在新颖视角综合方面取得了显著的结果。

    Jul, 2023

  • 高效神经辐射场用于交互式自由视点视频

    本文提出了一种名为 ENeRF 的场景表示，用于快速创建交互式自由视点视频，并实现了深度预测和辐射场网络的联合学习，通过针对场景表面附近的点进行采样，从而显著提高了渲染速度。在多个基准测试中进行实验，结果表明我们的方法在表现上具有竞争力，同时比先前的泛化辐射场方法快至少 60 倍。

    Dec, 2021

  • 单图像神经场实现机器人物体操作

    通过利用神经辐射场（NeRF）的一个紧凑的单一图像表示，我们能够从单一图像中推断物体渲染，三维重建和抓握姿势预测，从而比先前方案小两个到三个数量级，而实现可比的视图重建和抓握性能。

    Oct, 2022

  • 人脸高保真可动画化的神经辐射场

    通过学习多视图图像中的人脸 NeRF 模型，我们解决了学习如何有效地捕捉眼球旋转以及构建表示眼球旋转的流形这两个关键问题。通过在 ETH-XGaze 数据集上进行实验，我们证明了我们的模型能够在新的视角下生成具有准确眼球旋转和非刚性外眼部变形的高保真图像，并且显示出利用渲染图像能够有效地提高凝视估计性能。

    Aug, 2023

  • HandNeRF：从单个 RGB 图像学习重建手物体交互场景

    该论文提出了一种学习手物体交互的方法，通过从单个 RGB 图像中重建 3D 手物体场景。利用手形状来约束手和物体几何的相对配置，设计了可泛化的隐式函数 HandNeRF，以预测手和物体场景的几何关系。实验证明，HandNeRF 能够比其他相似方法更准确地重建新抓取配置的手物体场景，并确保从 HandNeRF 重建的物体对于机器人手交更加准确。

    Sep, 2023

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020