全卷积切片至体积重建用于单片堆叠磁共振成像
通过引入自我关注机制,本研究提出了一种用于将 2D 功能磁共振成像切片与 3D 参考体积对齐的端到端切片级运动校正模型,以增强其对输入数据变化和不确定性的鲁棒性,并实现实时头部运动跟踪。
Apr, 2024
提出了 RapidVol:一种神经表示框架用于加快切片到体积的超声重建,并通过使用张量秩分解将典型的三维体积分解为三面板的集合,再用一个小型神经网络来存储,只需一组带有三维位置和方向(姿态)的二维超声扫描就可以进行完整的三维重建。与基于完全隐式表示的先前方法相比(如神经辐射场),我们的方法速度提高了 3 倍以上,准确性提高了 46%,而且在给出不准确的姿态时具有更强的鲁棒性。可以通过从结构先验而不是从头开始进行重建来进一步加快速度。
Apr, 2024
该文提出了一种基于自监督学习的单体积超分辨率框架(SAIR)用于胎儿脑 MRI 的图像重建,实验证明 SAIR 与多体积超分辨率重建方法相当,并且可以纳入当前的重建流程。
Nov, 2022
本文提出了一种基于学习的方法,通过迭代索引平面扫描成本体积并借助卷积门控循环单元来回归深度图,从而进行多视角深度估计。经过对真实世界多视图数据集的大量实验,验证了该方法在数据集内部性能和跨数据集概括性能方面都达到了最先进水平。
May, 2022
MRI 速度慢的问题得到了通过多视图采集和少量样本采集的两种方法的互补。本文介绍了一种新方法,采用学习完全端到端的方式扩展了先前提出的变分方法。在 fastMRI 数据集上,我们的方法获得了新的最先进的结果,适用于脑部和膝盖的 MRI。
Apr, 2020
提出了一种基于 Radiation Diffusion Generation Model (RDGM) 的新型胎儿脑 MRI 高质量体重建方法,该方法利用 Neural Radiation Field (NeRF) 和超分辨率生成的扩散模型,使用预训练的 transformer 模型进行切片配准,进一步增强了体积的全局一致性和区分能力,实验结果表明该方法在真实世界胎儿脑 MRI 堆栈上表现出最先进的性能。
Oct, 2023
通过形态导向扩散模型,我们提出了 DMCVR,用于从稀疏的 2D 图像堆叠中更好地重建 3D 心脏容积,这种方法在生成模型中将心脏形态作为条件,消除了潜在代码的耗时迭代优化过程,提高了生成质量。我们的实验表明,DMCVR 在 2D 生成和 3D 重建性能等几个方面非常有效,能够产生高分辨率的 3D 心脏 MRI 重建,超过了当前的技术水平。我们提出的框架有着改善心脏疾病诊断和治疗规划准确性的巨大潜力。
Aug, 2023
我们介绍了多切片推理,这是一种新的单视图 3D 重建概念,挑战了多视图综合是单视图和 3D 之间最自然的桥梁的当前和普遍的观念。我们的关键观察是,通过物体切片来揭示被遮挡的结构比改变视角更有优势。具体而言,切片能够更好地揭示遮挡物,因为它可以在没有阻碍的情况下穿过任何遮挡物。在极限情况下,即使用无限多个切片,它能够揭示所有隐藏的物体部分。我们通过开发名为 Slice3D 的新方法来实现我们的想法,该方法首先从单个 RGB 图像预测多个切片图像,然后使用基于坐标的转换网络将这些切片集成到 3D 模型中以进行有符号距离预测。切片图像可以通过 U-Net 网络进行回归或生成。对于前者,我们通过注入可学习的切片指示器代码将每个解码图像指定到一个空间切片位置,而切片生成器是在输入通道上堆叠的切片图像的去噪扩散模型。我们进行了广泛的评估,与最先进的替代方法进行了比较,以展示我们方法在恢复复杂且严重遮挡的形状结构中的优越性,尤其是在存在歧义的情况下。所有 Slice3D 的结果都是由在单个 Nvidia A40 GPU 上训练的网络产生的,推理时间不到 20 秒。
Dec, 2023
我们提出了 HybridVNet,它是一种将标准卷积神经网络与图卷积无缝集成的新颖架构,可以高效地处理表面和体积网格,并通过图结构对其进行编码。我们的模型结合了传统卷积网络、变分图生成模型、深度监督和网格特定正则化,从 CMR 图像中高效生成高保真度和适合模拟的网格。
Nov, 2023
本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架,以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外,作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核,用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。
Aug, 2021