通用影像编码器 DINOv2 用于医学影像配准
本研究全面评估了基于自学习的 DINOv2 模型在放射学领域的应用,通过超过 100 个实验在不同模态下进行疾病分类和器官分割等任务,发现 DINOv2 在分割任务中表现优越,在疾病分类中具有竞争力的结果。这些发现为优化医学影像的预训练策略和加强 DINOv2 在自然图像与放射图像分析之间的桥梁作用提供了深入的见解。
Dec, 2023
DINOv2 对于临床数据的性能较 ImageNet 预训练模型较弱,但在公共数据集中表现出色,尤其是在使用冻结机制时。小型化的 DINOv2 模型在不同任务中表现相似,适用于医学图像分类任务并节省资源。
Feb, 2024
我们提出了一种基于深度学习的注册方法,旨在解决不同域中的可变形注册问题。通过设计一个注册专用的编码器,模拟了图像特征和结构特征的匹配准则,有助于提高注册准确性和适应性,并通过单次学习更新编码器以适应不同域。
Jun, 2024
在计算机视觉和医学图像领域的多模态系统中,语言监督的预训练被证明是从图像中提取语义有意义特征的有价值方法。然而,由于文本包含的信息有限,得到的特征受到了限制。在医学图像中,这一点尤为严重,因为放射科医生的书面结果侧重于特定观察,而相关图像 - 文本数据的稀缺性增加了挑战。本文通过在仅使用单模态医学图像数据进行预训练,引入了 RAD-DINO,一种基于生物医学图像的编码器,其性能在各种基准测试中比最先进的基于生物医学语言的监督模型取得了相似或更好的表现。
Jan, 2024
提出了一种名为 MrRegNet 的基于掩膜引导的编码器 - 解码器深度卷积神经网络(DCNN)图像配准方法,通过多分辨率编码器提取特征并在解码器中估计多分辨率位移场来处理图像的大变形,并使用分割掩膜指导模型的注意力对齐局部区域,实验结果证明该方法在公开的 3D 脑 MRI 数据集(OASIS)和局部 2D 脑 MRI 数据集上的大变形图像中优于传统方法(如 Demons)和知名的深度学习方法 VoxelMorph,尤其在由分割掩膜引导的局部区域图像配准准确性显著提高。
May, 2024
本研究提出了一种名为 LessNet 的新型网络架构,仅包含一个可学习的解码器,以替代传统的可学习编码器,通过使用简单的手工特征来代替学习网络参数,从而实现了高效紧凑的 3D 医学图像配准,同时具有与现有方法相当的配准性能和较少的计算资源需求。
Feb, 2024
我们引入 DINO-IR,一种新颖的多任务图像修复方法,利用从 DINOv2 提取的稳健特征,通过使用浅层特征捕捉低级图像特征、深层特征保证鲁棒语义表征且不敏感于退化、并使用专门的组件进行特征集成,包括多层语义融合模块、DINO-Restore 调适与融合模块以及 DINO 感知对比损失,该方法在各种任务上优于现有的多任务图像修复方法,凸显了增强鲁棒特征对于多任务图像修复的优越性和必要性。
Dec, 2023
本文提出了一种卷积神经网络的深度学习应用,利用无监督优化相似度指标完成非迭代式的图像配准,具备传统配准方法一样高的精度,且实现时间大幅度缩短。
Apr, 2017
通过使用深度学习,我们提出了一种无需预定义注册示例的机制来进行医学图像分析中的图像注册,包括仿射和可变形图像注册,性能可与传统图像注册相当,但速度快了几个数量级。
Sep, 2018
本研究提出了一种基于图像外观的补丁级信息来预测图像变形的方法,通过设计一个深度编码器 - 解码器网络来学习图像外观与图像配准参数之间的像素 / 体素映射,特别针对 LDDMM,通过预测 LDDMM 动量参数化,使计算时间大幅减少。同时,我们创建了贝叶斯概率版本的网络,允许在测试时间使用 dropout 的蒙特卡罗采样来评估变形场的不确定性。
Jul, 2016