Aug, 2021

自监督特征在医学图像分类任务中的可迁移性如何？

HTML
PDF
TL;DR本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。
发现论文，激发创造
  • 大型自监督模型推进医学影像分类

    本研究探讨了自监督学习作为医学图像分类的预训练策略的有效性，使用领域特定的无标签医学图像进行自监督学习，并引入一种新颖的多实例对比学习(MICLe)方法，为医学图像分析中的皮肤病和胸部X光分类任务提供了更为准确的预测。

    Jan, 2021

  • 医学图像分析的迁移学习系统基准测试分析

    通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务fine-grained数据预训练模型具有独特的局部特征表示，自我监督的ImageNet模型比有监督的ImageNet更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

    Aug, 2021

  • 自监督预训练用于二维医学图像分割

    本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在ImageNet上可以获得最佳精度。

    Sep, 2022

  • 如何训练您的CheXDragon：为转移至新任务和医疗系统训练胸部X光模型

    本研究探讨了多种监督和自我监督预训练策略在医疗图像多模式数据上的性能表现，并对其在新任务和医疗保健系统中的表现进行了评估和实验，结果表明多模式SSL性能优于单模式SSL，并提供了适用于面对这些限制的场景的替代模型建议。

    May, 2023

  • 自我监督预训练方法比较：基于胸部射线图像的疾病风险预测

    本文针对医疗影像任务，通过对自我监督和半监督学习等多种方式进行比较，研究发现半监督自编码器在预测胸部X光成像下的死亡风险方面具有更好的性能。

    Jun, 2023

  • 自我监督预训练对放射影像诊断任务影响的调查

    自监督预训练在医学图像诊断任务中通过改善特征表示进而提高了下游任务性能，尤其是在无标注样本数量远远超过有标注样本数量时。该综述总结了近期在X射线、计算机断层扫描、磁共振和超声成像领域中应用自监督预训练与全监督学习相比较的研究，最重要的发现是自监督预训练普遍提高了诊断任务的性能。基于综合证据，为考虑使用自监督学习的实践者提供了相关的建议，同时针对当前研究中存在的局限性，提出了未来研究的方向与实践，如将临床知识与理论基础的自监督学习方法结合、在公共数据集上进行评估、扩展对超声成像领域的研究证据，以及表征自监督预训练对泛化性能的影响。

    Sep, 2023

  • 有限训练数据下的自监督学习用于皮肤癌诊断

    在本文中，我们展示了使用一种称为Barlow Twins的自我监督学习算法进行预训练的模型可以胜过常规的监督转移学习流程，该模型在小型标记皮肤病变数据集上进行微调后，在大型测试集中取得了70%的平均测试准确率，相比于监督转移学习的66%。这暗示在标记困难的环境中收集更多未标记图像可能是一条获取更多标记数据的替代途径。我们的框架适用于低标记数据情境下的癌症图像分类模型。

    Jan, 2024

  • 借助解缠绕的自监督学习和元学习提升医学图像分类的少样本学习

    应用于医学成像等关键领域的深度学习模型使用受限的训练数据，我们提出了一种策略来提高在低数据情况下训练的模型的性能和泛化能力。通过预训练和元微调，本方法通过在元训练中暴露模型于更具挑战性的分类任务，进而在元测试中对更具临床相关性但更容易的任务进行评估，以增强模型的泛化能力。该方法在两个不同的医学任务上进行了实验证明了其有效性，并在评估数据的分布变化时保持了竞争力。

    Mar, 2024

  • 自我监督学习提高深度学习对CT图像差异的肺肿瘤分割的鲁棒性

    自我监督学习（SSL）是一种从无标签数据中提取有用特征表示并在有限标记样本的下游任务中进行精细调整的方法。本论文比较了基于自然数据和自我预训练的转换器模型在医学图像分析中的鲁棒性，发现自然预训练模型对肺肿瘤分割的CT图像差异具有更高的适应性，同时Swin架构从这种预训练中受益更多。

    May, 2024

  • 迁移学习与自监督学习的实验比较

    通过比较在医疗领域中的迁移学习与自监督学习的性能和鲁棒性，本文从相同的源域数据集采用不同的预训练方法分别预训练了两个模型，并在小规模医疗数据集上评估了它们，以识别影响其最终性能的因素。通过比较实验测试了医疗领域中的数据失衡、数据稀缺和数据领域不匹配等常见问题对特定的预训练模型的影响。最后，提供了帮助用户在医疗领域应用迁移学习和自监督学习方法，并构建更方便和高效的部署策略的建议。

    Jul, 2024