Jul, 2023

视网膜 OCT 高效预测模型的预训练 2.5D 深度模型

PDF
TL;DR在医学影像领域，3D 深度学习模型在构建疾病进展预测模型方面起着重要作用。然而，这些模型的规模在计算资源和数据需求方面带来了重大挑战。为了解决这些问题，2.5D 方法提供了一种有效的利用 3D 体积数据的方式。结合 2D 和 3D 技术为优化性能并降低内存需求提供了一条有前景的途径。在本文中，我们探索基于卷积神经网络（CNNs），长短期记忆（LSTM）和 Transformer 的 2.5D 架构。此外，利用近期的 2D 非对比性预训练方法，我们进一步提高了 2.5D 技术的性能和数据效率。我们在两个大型纵向光学相干断层扫描（OCT）数据集上展示了架构和相关预训练在预测湿性年龄相关性黄斑变性（AMD）的六个月内进展方面的有效性。
medical imaging3d deep learning models2.5d approachescnnspretraining approaches
发现论文，激发创造
  • 可解释的二维视觉模型用于三维医学数据

    本研究提出了一种简单的方法，使用 2D 网络和中间特征表示来处理 3D 数据，并使用特征减少模块进行分类，以解决在医学分类的基准测试和实际临床数据中训练成功受限的问题。

    Jul, 2023

  • 基于超级图像的分割: 3D 医学图像分析中的新 2D 视角

    为了解决 3D 卷积神经网络在医学影像识别中时间和计算效率低的问题，本文提出将体数据转化为 2D 超级图像，使用 2D 网络用于分割任务，具有实用价值和吸引更多相关研究的意义。

    May, 2022

  • 视频预训练推进胸部 CT 任务的 3D 深度学习

    本研究探讨了自然视频的预训练在 3D 医学任务的小型数据集上是否能够提高性能，结果表明预训练对不同架构、任务和数据集大小的 3D 模型都有一致的效益，在 3D 医学任务中，将预训练从小规模内域迁移到大规模外域可以获得更好的性能。

    Apr, 2023

  • Med3D：三维医学影像分析的迁移学习

    本研究为培训深度学习算法所需数据量的问题提出了一种解决方案，通过建立医学图像分割数据集和使用 Med3D 进行多域协同训练，可以加速涉及 3D 医学图像的任务的训练收敛速度和提高准确度。

    Apr, 2019

  • 基于多视图表达学习的点云预训练

    本文提出了一种基于 2D network 预训练的点云 3D 预训练新方法，通过引入多视角一致性损失，可有效防止 3D 特征丢失并在 3D 检测和语义分割等任务中实现最先进的性能。

    Jun, 2023

  • 利用混合的 2D-3D 网络实现视网膜 OCT 图像的三维连贯层分割的同时对齐和表面回归，具备全面和稀疏标注

    基于混合 2D-3D 卷积神经网络的创新框架可以从光学相干断层扫描 (OCT) 体积中获得连续的三维视网膜层面，并在全面和稀疏注释方面表现出卓越的性能，从而在体积的 OCT 图像中尝试三维视网膜层分割的首个工作。

    Dec, 2023

  • 深度学习中的医学图像分割实现跨维度迁移学习

    本论文介绍了一种将自然图像上训练的 2D 分类网络的效率转移到 2D、3D 单模态和多模态医学图像分割应用中的高效方法，该方法基于权重转移和维度转移的两个关键原则，实验证明其在多维医学图像分割方面表现出色。

    Jul, 2023

  • 深度学习医学图像分割

    通过对 ADNI 海马 MRI 数据集进行分割实验，比较了不同的三维海马分割卷积架构的有效性和效率，结果表明，与简单的二维块相比，稍微非传统的 “堆叠的 2D” 方法提供了更好的分类性能，并且不需要额外的计算能力。同样我们也测试了一种流行的 “三平面” 方法，发现它提供了比 2D 方法更好的结果，但需要适度增加计算能力的要求。最后，我们评估了完整的三维卷积体系结构，并发现它提供了比三平面方法略好的结果，但代价是需要非常大的计算能力要求。

    May, 2015

  • Mask3D：通过学习掩码的 3D 先验知识预训练 2D 视觉 Transformer

    提出了一种名为 Mask3D 的预训练方法，可以将现有的大规模 RGB-D 数据应用于自监督预训练中，将 3D 先验嵌入到 2D 的学习特征中，并对多个场景理解任务产生了改进，尤其是语义分割。

    Feb, 2023

  • 拍照：点云模型的 3D 到 2D 生成预训练

    我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法，通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案，以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系，实验结果证明了我们提出的方法在提升架构导向方法性能方面的优越性，并在 Fine-tuning ScanObjectNN 分类和 ShapeNetPart 分割任务时实现了最先进的性能。

    Jul, 2023