以一般视觉编码器特征为导向的医学图像配准
过去十年来,深度学习技术在医学图像配准领域取得了很大进展。本文对深度学习技术在图像配准中的最新进展进行了综合概述,包括网络结构、损失函数、注册不确定性估计方法和评估指标等方面,并探讨了这些新技术在医学影像中的实际应用和未来前景。
Jul, 2023
本研究全面评估了基于自学习的DINOv2模型在放射学领域的应用,通过超过100个实验在不同模态下进行疾病分类和器官分割等任务,发现DINOv2在分割任务中表现优越,在疾病分类中具有竞争力的结果。这些发现为优化医学影像的预训练策略和加强DINOv2在自然图像与放射图像分析之间的桥梁作用提供了深入的见解。
Dec, 2023
在计算机视觉和医学图像领域的多模态系统中,语言监督的预训练被证明是从图像中提取语义有意义特征的有价值方法。然而,由于文本包含的信息有限,得到的特征受到了限制。在医学图像中,这一点尤为严重,因为放射科医生的书面结果侧重于特定观察,而相关图像-文本数据的稀缺性增加了挑战。本文通过在仅使用单模态医学图像数据进行预训练,引入了RAD-DINO,一种基于生物医学图像的编码器,其性能在各种基准测试中比最先进的基于生物医学语言的监督模型取得了相似或更好的表现。
Jan, 2024
本研究提出了一种名为LessNet的新型网络架构,仅包含一个可学习的解码器,以替代传统的可学习编码器,通过使用简单的手工特征来代替学习网络参数,从而实现了高效紧凑的3D医学图像配准,同时具有与现有方法相当的配准性能和较少的计算资源需求。
Feb, 2024
DINOv2对于临床数据的性能较ImageNet预训练模型较弱,但在公共数据集中表现出色,尤其是在使用冻结机制时。小型化的DINOv2模型在不同任务中表现相似,适用于医学图像分类任务并节省资源。
Feb, 2024
利用一种训练免费的图像编码器,本文介绍了一种新的变形图像配准方法DINO-Reg,并在医学图像配准领域中取得了第一名的成绩。这是将通用视觉基础模型应用于医学图像配准的首次尝试。
Feb, 2024
使用预训练的大型语言模型提取医学图像的深度特征来改善图像的注册准确性,实验证明了大型语言模型在医学图像注册任务中的巨大潜力。
May, 2024
使用改进的卷积神经网络进行体积图像配准,提供增强的感受野,减少参数并在受限的训练数据集上取得与基于Transformer方法相当甚至稍好的性能。
Jun, 2024
我们提出了一种基于深度学习的注册方法,旨在解决不同域中的可变形注册问题。通过设计一个注册专用的编码器,模拟了图像特征和结构特征的匹配准则,有助于提高注册准确性和适应性,并通过单次学习更新编码器以适应不同域。
Jun, 2024
本研究针对医学图像配准领域经典优化方法与基于学习的方法之间的性能差异进行了深入分析,填补了相关文献中的空白。作者提出了一种新的理论框架,通过强烈的相关性证明了像素强度及标签分布的互信息与经典配准性能之间的关系,并验证了学习方法在弱监督下的高保真度注册能力。研究指出,虽然基于学习的方法在特定情况下能 outperform 经典方法,但它们对数据分布的变化仍然敏感,从而提出了选择最佳方法的通用策略。
Aug, 2024