切片网络
该论文提出了一种新的 Mesh 网络(MNet)用于平衡 2D / 3D 卷积神经网络中稀疏的层间信息和密集的层内信息,并在四个公共数据集上进行了综合实验,结果显示 MNet 具有优越性能。
May, 2022
我们介绍了多切片推理,这是一种新的单视图 3D 重建概念,挑战了多视图综合是单视图和 3D 之间最自然的桥梁的当前和普遍的观念。我们的关键观察是,通过物体切片来揭示被遮挡的结构比改变视角更有优势。具体而言,切片能够更好地揭示遮挡物,因为它可以在没有阻碍的情况下穿过任何遮挡物。在极限情况下,即使用无限多个切片,它能够揭示所有隐藏的物体部分。我们通过开发名为 Slice3D 的新方法来实现我们的想法,该方法首先从单个 RGB 图像预测多个切片图像,然后使用基于坐标的转换网络将这些切片集成到 3D 模型中以进行有符号距离预测。切片图像可以通过 U-Net 网络进行回归或生成。对于前者,我们通过注入可学习的切片指示器代码将每个解码图像指定到一个空间切片位置,而切片生成器是在输入通道上堆叠的切片图像的去噪扩散模型。我们进行了广泛的评估,与最先进的替代方法进行了比较,以展示我们方法在恢复复杂且严重遮挡的形状结构中的优越性,尤其是在存在歧义的情况下。所有 Slice3D 的结果都是由在单个 Nvidia A40 GPU 上训练的网络产生的,推理时间不到 20 秒。
Dec, 2023
通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上,充分探索 Transformers 在编码器和解码器设计中的潜力,我们引入了两个关键组件:1)一个从卷积神经网络(CNN)特征图中令图像块标记化的 Transformer 编码器,从而实现全局上下文的提取;2)一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现,不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色,其中器官之间的关系至关重要。另一方面,Transformer 解码器在处理小而具有挑战性的分割目标(如肿瘤分割)方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。
Oct, 2023
基于视频动作识别领域的灵感,我们提出了一种名为 Slice Shift UNet (SSH-UNet) 的新型二维模型,以 2D 卷积神经网络的复杂度编码三维特征,通过沿切片轴移动部分特征图重新融合被 2D 卷积忽视的第三个维度。在多模态腹部多器官分割(AMOS)和除颅骨外多图谱标记(BTCV)数据集中验证了我们方法的有效性,表明 SSH-UNet 在性能上与最先进的架构相媲美,且更高效。
Jul, 2023
本文介绍了一种高效的 3D 卷积神经网络,采用 3D multi-fiber unit 并使用 3D dilated convolutions 来构建多尺度特征表示,以达到实时密集体积分割的目的,并在 BraTS-2018 挑战数据集上的实验结果表明,该神经网络架构在高保真度的前提下大大降低了计算成本。
Apr, 2019
这篇研究论文介绍了一种基于 U-Net 的 MRI 算法,结合了残差网络和用于增强上下文信息的模块,还添加了空洞卷积池化金字塔用于处理。实验证明了该算法在诊断脑胶质瘤的 MRI 图像分割中取得了较高的准确率,并提升了脑肿瘤的三维重建精度,以及图像分类的效率。
May, 2024
本文提出了一种改进的 UNet 结构,称为 SLCA UNet,它结合了残差密集块、分层注意力和通道注意力模块,以及堆叠卷积。在脑肿瘤分割上,该方法在 BraTS 2020 数据集上表现良好,平均 Dice 系数、灵敏度、特异度和 Hausdorff95 分别为 0.845、0.845、0.999 和 8.1。
Jul, 2023
通过融合 transformers 和 CNNs,我们提出了一种混合架构用于医学图像分割,旨在克服 CNNs 在捕捉全局依赖性和局部空间细节方面的局限性。我们通过比较各种架构和配置,并进行多次实验来评估它们的有效性。
Jan, 2024
本文提出了一种名为 SLANT 的方法,结合传统医学图像处理和深度学习, 提供了一种分布式多个独立 3D 全卷积网络进行高分辨率全脑分割的方法, 并将其应用于大量未标记扫描的辅助标签, 与传统多图谱分割方法相比,该方法的性能更优,并将计算时间从 > 30 小时缩短至 15 分钟。
Mar, 2019