Nov, 2023

面向医学神经辐射场的不确定性感知单视图体积渲染

PDF
TL;DR利用生成的辐射场，本文提出了基于不确定性感知的 MedNeRF 神经网络，通过从 2D X 射线图像中获取内部结构和深度信息，并使用自适应损失权重来学习 CT 投影的连续表达，以确保生成图像的质量。在公开可用的膝盖和胸部数据集上训练，以及利用单个 X 射线进行 CT 投影渲染，并与其他基于生成的辐射场的方法进行比较。
computed tomographymedical imaging modalityuncertainty-aware mednerfradiation fieldsct projection rendering
发现论文，激发创造
  • 具有神经调谐层析术（NeTT）和掩模神经辐射场（mNeRF）的稳健单视锥形束 X 射线姿态估计

    基于 X 射线投影的位姿估计问题，提出了两种高保真度视角综合方法，Neural Tuned Tomography (NeTT) 和 masked Neural Radiance Fields (mNeRF)，并展示了它们在该框架内明显改善位姿估计的结果。

    Aug, 2023

  • 医学图像中的神经辐射场：挑战与下一步

    神经放射场 (NeRF) 是计算机视觉中的一种开创性技术，通过从投影到二维图像数据中合成三维表示来为医学成像提供巨大潜力。然而，在应用于医学领域时，它们面临着特殊的挑战。本文对 NeRF 在医学成像中的应用进行了全面的研究，突出了四个潜在的挑战，包括基本成像原理、内部结构要求、物体边界定义和颜色密度意义。我们讨论了目前不同器官上的现有方法，并讨论了相关的局限性。我们还回顾了几个数据集和评估指标，并提出了几个未来研究的有前景的方向。

    Feb, 2024

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • 使用射线模型导数的卷积神经辐射场方法进行新视角综合

    本研究提出了一种基于卷积神经辐射场的方法来解决现有方法中存在的问题，在新颖视角综合方面取得了显著的结果。

    Jul, 2023

  • 估计 3D 不确定域：量化神经辐射场的不确定性

    基于学习的不完整场景几何构建的 3D 不确定性场，可以明确识别未见区域，推理高不确定性，并适用于实际机器人任务。

    Nov, 2023

  • 快速神经辐射场重建的体积特征渲染

    本研究提出了将本应在神经网络评估后再进行渲染的颜色，改为直接渲染出射线查询的特征向量，从而大幅降低了神经网络评估的复杂度和计算开销，并取得了较好的渲染质量。

    May, 2023

  • TermiNeRF: 针对高效神经渲染的光线终止预测

    本文提出了一种使用直接映射从相机光线到沿着光线最有可能影响像素最终外观的位置的方法，从而实现比标准方法快一个数量级的体积渲染神经网络模型的渲染、训练和微调，同时避免了在多个点上查询体积网络以呈现图像的过程时间缓慢的问题。与现有的方法不同的是，我们的方法适用于一般的体积，并且可以进行端到端的训练。

    Nov, 2021

  • XTransCT：使用转换网络通过两个正交 X 射线投影进行超快速体积 CT 重建

    本文提出了一种名为 XTransCT 的新型 Transformer 架构，可从二维 X 光图像中实时重建 CT 图像，该方法在图像质量、结构可靠性和普适性方面优于其他方法，并且可以在重建 3D 图像的同时实现约 300％的速度提高。

    May, 2023

  • CVT-xRF：基于对比度的体素内变压器用于稀疏输入的 3D 一致辐射场

    当使用稀疏输入进行训练时，神经辐射场（NeRF）通常遇到密度或颜色预测错误的问题，本文提出了一种新的方法来改善 NeRF 在稀疏输入情况下的性能，通过模拟三维空间场的一致性，并采用体素光线采样策略和 Transformer 进行渲染。实验证明该方法显著改善了稀疏输入设置下的性能，并与其他方法相当。

    Mar, 2024

  • 来自非约束图像集的新视角合成的 Cross-Ray 神经辐射场

    本文提出了一种名为 Cross-Ray NeRF 的方法，通过利用交互信息合成视野，在处理过场景图像时能有效地减少遮挡和幽灵物体等问题。

    Jul, 2023