Oct, 2023

RT-SRTS：单次 X 射线投影中的角度无关实时三维重建和肿瘤分割

PDF
TL;DR本研究提出了一种新的成像方法 RT-SRTS，基于多任务学习将 3D 成像与肿瘤分割集成到一个网络中，能够实时、同时从任意角度的单一 X 射线投影中进行 3D 重建和肿瘤分割，并通过增强的校准器和不确定区域详细化模块来提高特征提取和分割准确性。该方法在十个患者病例上进行了评估，并与两种最先进的方法进行了比较，结果不仅显示出优越的 3D 重建效果，而且具有可观的肿瘤分割结果。同时重建和分割可以在约 70 毫秒内完成，远远快于实时肿瘤跟踪的所需时间阈值。AEC 和 URE 的有效性也通过消融研究得到了验证。
radiotherapy3d imagingtumor segmentationmulti-task learningreal-time simultaneous reconstruction
发现论文，激发创造
  • 具有神经调谐层析术（NeTT）和掩模神经辐射场（mNeRF）的稳健单视锥形束 X 射线姿态估计

    基于 X 射线投影的位姿估计问题，提出了两种高保真度视角综合方法，Neural Tuned Tomography (NeTT) 和 masked Neural Radiance Fields (mNeRF)，并展示了它们在该框架内明显改善位姿估计的结果。

    Aug, 2023

  • XTransCT：使用转换网络通过两个正交 X 射线投影进行超快速体积 CT 重建

    本文提出了一种名为 XTransCT 的新型 Transformer 架构，可从二维 X 光图像中实时重建 CT 图像，该方法在图像质量、结构可靠性和普适性方面优于其他方法，并且可以在重建 3D 图像的同时实现约 300％的速度提高。

    May, 2023

  • 基于深度学习的快速准确肺癌三维 CT 可变形图像配准

    该研究开发了一种基于视觉转换的非对称自编码器网络，可以从 2D 的 kV 图像中重建出 3D CT 图像，实现了患者定位精度的提高。

    Apr, 2023

  • 面向医学神经辐射场的不确定性感知单视图体积渲染

    利用生成的辐射场，本文提出了基于不确定性感知的 MedNeRF 神经网络，通过从 2D X 射线图像中获取内部结构和深度信息，并使用自适应损失权重来学习 CT 投影的连续表达，以确保生成图像的质量。在公开可用的膝盖和胸部数据集上训练，以及利用单个 X 射线进行 CT 投影渲染，并与其他基于生成的辐射场的方法进行比较。

    Nov, 2023

  • 通过单目摄像机实时进行航行和安全进入自然开口的头部姿态估计和三维神经表面重建

    我们使用 3D Slicer 作为基础平台，利用单目相机将人头进行 3D 模型重建，实时通过单目视觉传输头部姿态，并演示了利用 ArUco Marker 追踪工具实时指向头部姿态变化的可行性，为鼻咽拭子采集或插管等提供了一个可行的实时仿真平台。

    Jun, 2024

  • 使用联合监督与对抗学习的 CT 呼吸运动合成

    提出了一种深度合成方法，通过将外部患者表面估计作为条件合成来生成伪呼吸 CT 相位，以实现运动感知的治疗计划，并展示了其能够以与重复扫描的真实 4DCT 相位相似的准确性捕捉器官和肿瘤的运动。

    Mar, 2024

  • 单视图肝脏网格重建的端到端可形变注意力图神经网络

    本文提出了一个新颖的端到端注意力图神经网络模型，用于根据手术前参考分割和治疗期间所采集的 2D MRI 横截面图像来实时生成肝脏的三角形形状，模型使用图神经网络处理图形数据，并能够捕捉非欧几里得域中的隐藏模式。与现有方法不同的是，该方法完全在网格结构中生成形状并基于替代图像正确推断网格形状和位置。提出了两种实时方法来使肝脏网格顶点与治疗期间获得的 2D 图像相对应，并引入了一种新型任务特定身份信息损失来限制图神经网络中肝脏的变形。该方法的平均误差为 3.06 +- 0.7 毫米，L2 范数下的 Chamfer 距离为 63.14 +- 27.28。

    Mar, 2023

  • 使用 U-Net 算法在 CT 序列中分割进行全骨髓放疗的计划治疗区域

    本文介绍了一种基于深度学习的自动轮廓绘制方法，用于对人体进行放射治疗的规划。我们通过对 100 位 TMLI 患者的数据集进行模型训练并对结果进行评估，得到了非常有前途的结果，并有望帮助辐射肿瘤科医生更加高效地治疗更多的患者。

    Apr, 2023

  • 脑转移放射治疗的多模态体积感知检测和分割

    本研究提出一种使用多模态成像和集成神经网络的深度学习方法，自动检测和分割小的靶病灶，以提高立体定向放射治疗（SRS）的效率。该方法优于当前基准水平，并证明了对于多个脑转移瘤的 SRS 治疗规划，可靠的 AI 辅助系统。

    Aug, 2019

  • 多维统一 Swin Transformer 用于多解剖位置的 3D 病变分割

    在肿瘤学研究中，准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而，根据 RECIST 准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的 3D 病灶。因此，我们有大量未标记的 3D 体积和带标签的 2D 图像，以及稀缺的标记的 3D 体积，这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的 Swin Transformer (MDU-ST)，用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应 2D 和 3D 输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式；2) 对 Swin-transformer 编码器进行微调，以使用 2D RECIST 切片执行 2D 病灶分割，学习切片级分割信息；3) 进一步对 Swin-transformer 编码器进行微调，以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估，其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。

    Sep, 2023