Sep, 2023

基于束调整的外科内窥镜动态视频重建，使用神经辐射场

PDF
TL;DR通过采用神经辐射场（NeRF）方法，我们展示了一种能够学习时间上动态且可变形的三维场景的方法，并能适应各种不同相机和场景设置的鲁棒性模型，该模型消除了已知相机姿态的限制，并克服了目前静态场景重构技术中依赖场景静态部分进行精准重构的缺点，为当前和未来的机器人外科手术系统提供了潜力。
发现论文，激发创造
  • FLex：立体内窥镜视频的姿态与动态辐射场优化

    通过多个重叠的 4D 神经辐射场（NeRFs）和渐进优化方案，在高度动态的变形组织环境中对移动内窥镜进行隐式场景分离和重建，从而提高了操作简易性并在时间上提供了患者视频的重建能力的改进，同时不依赖于外部跟踪信息。

    Mar, 2024

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • 基于 NeRFs 的腹腔三维场景渲染的研究

    提供一个关键的可视，两个维度的视图，突破 0-D 静态场景，为了生成新的观察。

    Oct, 2023

  • 神经辐射场场景重建探索：合成、真实世界和动态场景

    该论文主要研究使用神经辐射场（NeRF）方法对合成和真实场景进行 3D 重建，包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中，还着重探讨了神经辐射场（D-NeRF）对动态场景重建的应用，并成功将其推广至真实世界动态场景。

    Oct, 2022

  • Nerfies: 可变形神经辐射场

    描述了一种基于神经辐射场的方法，通过优化连续的体形变场使移动设备拍摄的照片 / 视频重建变形场景，旨在生成高度逼真的渲染图像。实验表明，该方法可使用手机拍摄的自拍照片 / 视频转换成可变形的 NeRF 模型，并在任意视点产生高保真度的视图。

    Nov, 2020

  • DynVideo-E: 大规模运动和视角变化人为中心视频编辑中的动态 NeRF 应用

    引入动态神经辐射场（NeRF）作为人物中心视频表示，将视频编辑问题简化为三维空间编辑任务，通过变形场在整个视频上进行编辑。

    Oct, 2023

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • 利用深度引导的神经表面进行高保真内窥镜图像合成

    通过将 NeuS 应用于内窥镜图像并辅以单帧深度图，我们在结肠切片重建方面引入了一种新的方法，该方法解决了单目结肠镜图像重建中的组织纹理表示不足和尺度混淆问题，通过严格的实验证明了其在渲染结肠切片方面的异常精确性，为稳定和一致缩放重建打开了新的途径，为癌症筛查和治疗干预提供了更好的质量。

    Apr, 2024

  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021