RadRotator:基于扩散模型的根管 X 射线片的三维旋转
提出了一种基于 Radiation Diffusion Generation Model (RDGM) 的新型胎儿脑 MRI 高质量体重建方法,该方法利用 Neural Radiation Field (NeRF) 和超分辨率生成的扩散模型,使用预训练的 transformer 模型进行切片配准,进一步增强了体积的全局一致性和区分能力,实验结果表明该方法在真实世界胎儿脑 MRI 堆栈上表现出最先进的性能。
Oct, 2023
本研究展示了基于深度学习的卷积神经网络可以重构二维 X 光成为三维体积,通过将粗略的,固定分辨率的体积与输入的 X 光融合成高分辨率的体积,以实现更加精细化的成像。同时,研究团队还创建了一个新的数据集,其中包括了将近 50 万个 175 个哺乳动物物种的计算机模拟二维 X 光成像的数据,为以前基于层析成像和数据驱动学习的方法提供了比较和验证,并应用于实际 X 光成像数据的重构和渲染。
Oct, 2017
提出一种新颖的图像编辑技术,可以在单幅图像上进行三维操作,如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型,实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑,突破了单幅图像三维感知编辑的可能性的局限。
Mar, 2024
数字重建射线照片(DRRs)在术前应用中得到广泛使用,但由于计算瓶颈在术中应用受到限制,特别是对于准确但计算密集型的基于蒙特卡罗方法。本文提出了一种新方法,将真实的受物理启发的 X 射线模拟与使用三维高斯平铺(3DGS)进行高效、可微分的 DRR 生成相结合。我们的方向分立的 3DGS(DDGS)方法将辐射通量贡献分解为各向同性和方向相关的部分,以近似复杂的各向异性相互作用而无需耗时的模拟。此外,我们适应了三维高斯平铺的初始化过程以适应层析数据的特性,提高了精度和效率。我们的方法在图像准确度方面优于最先进的技术。此外,我们的 DDGS 在术中应用和姿态配准等逆问题方面表现出色,并比解析 DRR 方法提供更高的配准准确度和运行时性能。
Jun, 2024
利用扩散模型的潜在空间来形成 3D 分析的切片序列,并将聚类关注融入 ViT 以聚合 3D CT 扫描中的重复信息,从而利用先进的 Transformer 模型在小型数据集上执行 3D 分类任务,表现出卓越的性能。
Jun, 2024
该研究开发了一种基于视觉转换的非对称自编码器网络,可以从 2D 的 kV 图像中重建出 3D CT 图像,实现了患者定位精度的提高。
Apr, 2023
本文结合传统的基于模型的迭代重建方法和现代扩散模型,提出了一种高度有效的方法来解决 3D 医学图像重建任务,包括稀疏视图断层扫描、有限角度断层扫描、预训练 2D 扩散模型压缩感知 MRI 等。我们在测试时提出了 2D 扩散先验的增强模型先验,从而实现了所有维度上的一致重建。该方法可以在单个普通 GPU 上运行,并且在最极端情况下(例如 2 视的 3D 断层扫描)表现出高保真度和准确度的重建。我们进一步揭示了该方法的泛化能力出乎意料地高,并且可以用于重建与训练数据集完全不同的体积。
Nov, 2022
使用新型的 2.5D 多视角平均扩散模型 (MADM) 进行 3D 图像转换,从非衰减校正低剂量 PET (NAC-LDPET) 到校正衰减标准剂量 PET (AC-SDPET),实现高质量的 3D 图像翻译。
Jun, 2024
本研究提出了一种新的扩散设置,可以仅通过 2D 图像监督就可以进行端到端的训练,同时提出的图像形成模型将模型内存与空间内存分离,以应对 3D 扩散模型在训练上遇到的问题,并在 CO3D 数据集上进行的实验表明,该方法是可扩展的,具有稳健性,与现有的 3D 生成建模方法在样本质量和保真度方面相当竞争。
Mar, 2023
该研究探讨了一种简单直接的二维到三维图像转换方法,通过重复和连接二维视图生成高通道的三维模型,解决了现有方法在潜在空间中整合信息时丢失信号信息的问题,并通过神经最优传输实现了在多个视角上无需精确对齐即可整合信号信息,训练结果在多个数据集上得出了定性和定量一致的重建效果。
Jun, 2024