Sep, 2023

自监督预训练改善多种肺部超声解读任务的性能和推理效率

PDF
TL;DR通过自监督预训练可以生成适用于多种 B 模式肺部超声分析分类任务的神经网络特征提取器，经预训练模型在三项肺部超声任务的微调后，平均跨任务下的受试者工作特性曲线（AUC）面积分别提高了 0.032 和 0.061， 紧凑非线性分类器在单个预训练模型输出的特征上训练并不能提高所有任务的性能，但比起独立微调模型的串行执行，推理时间缩短了 49%；在仅使用 1％的标签进行训练时，预训练模型始终优于全监督模型，对于视图分类任务，最大观察到的测试 AUC 提高了 0.396。总体而言，结果表明自监督预训练有助于生成用于肺部超声分类器的初始权重。
self-supervised pretrainingneural network feature extractorlung ultrasound analysisclassification taskstest auc increase
发现论文，激发创造
  • 自监督预训练策略在 M 型肺部超声中发现无肺滑动的实用性探索

    本研究探讨了在 M 模式肺超声图像的肺滑动分类任务中，进行自监督预训练对于监督微调的实用性，结果表明，相对于完全监督，自监督预训练表现更好，特别是对于未使用 ImageNet 预训练权重来初始化特征提取器的情况下。此外，包含大量未标记数据可提高外部验证集上的表现，突显了自我监督在提高自动超声识别的泛化能力方面的价值。

    Apr, 2023

  • 自我监督预训练对放射影像诊断任务影响的调查

    自监督预训练在医学图像诊断任务中通过改善特征表示进而提高了下游任务性能，尤其是在无标注样本数量远远超过有标注样本数量时。该综述总结了近期在 X 射线、计算机断层扫描、磁共振和超声成像领域中应用自监督预训练与全监督学习相比较的研究，最重要的发现是自监督预训练普遍提高了诊断任务的性能。基于综合证据，为考虑使用自监督学习的实践者提供了相关的建议，同时针对当前研究中存在的局限性，提出了未来研究的方向与实践，如将临床知识与理论基础的自监督学习方法结合、在公共数据集上进行评估、扩展对超声成像领域的研究证据，以及表征自监督预训练对泛化性能的影响。

    Sep, 2023

  • 多器官自监督对比学习用于乳腺病变分割

    利用自我监督学习和对比学习的方法，在医学成像等标注稀缺的领域中学习表征已被证明是一种有效的方式。本研究通过探索一种新的思路 —— 使用多器官数据集来为特定器官相关目标任务预训练模型，旨在推进我们对对比学习框架的理解。具体而言，我们的目标任务是超声图像中的乳腺肿瘤分割。预训练数据集包括来自其他器官（如肺和心脏）的超声图像以及大量的自然图像。我们的结果表明，与监督基线方法相比，传统的对比学习预训练可以提高性能。此外，我们的预训练模型在只使用一半可用标记数据进行微调时也可以达到相当的性能。我们的发现还表明，预训练多器官数据可以提高下游任务的性能。

    Feb, 2024

  • 大型自监督模型推进医学影像分类

    本研究探讨了自监督学习作为医学图像分类的预训练策略的有效性，使用领域特定的无标签医学图像进行自监督学习，并引入一种新颖的多实例对比学习 (MICLe) 方法，为医学图像分析中的皮肤病和胸部 X 光分类任务提供了更为准确的预测。

    Jan, 2021

  • 自监督特征在医学图像分类任务中的可迁移性如何？

    本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。

    Aug, 2021

  • 自监督预训练在皮肤病变分析中的评估

    本文比较了三种自监督预训练模型和一个有监督的基线模型，在五个数据集上进行了皮肤病变的诊断。结果表明，自监督预训练模型可以在提高准确性和降低结果的变异性方面与有监督的基线模型相媲美，尤其在数据量少的情况下表现更加稳定和优秀。

    Jun, 2021

  • 自我监督学习提高深度学习对 CT 图像差异的肺肿瘤分割的鲁棒性

    自我监督学习（SSL）是一种从无标签数据中提取有用特征表示并在有限标记样本的下游任务中进行精细调整的方法。本论文比较了基于自然数据和自我预训练的转换器模型在医学图像分析中的鲁棒性，发现自然预训练模型对肺肿瘤分割的 CT 图像差异具有更高的适应性，同时 Swin 架构从这种预训练中受益更多。

    May, 2024

  • 基于多视图自监督学习和两阶段预训练的甲状腺超声诊断改进

    用有限的手动标签，通过多视角对比自监督方法以及两级预训练，提高甲状腺结节分类和分割性能，超过了 ImageNet 预训练和最先进的自监督方法。

    Feb, 2024

  • 学习通用肺部超声生物标志物以解耦特征提取与下游任务

    该研究提出了一种通过引入辅助的预任务 (视觉生物标志分类) 来将特征学习与下游肺部超声任务分离的方法；通过为预测生物标志标签训练模型，可以学习到一种信息丰富、简洁和可解释的超声视频特征空间。这些特征可以被用于各种下游临床任务的专家模型中，这些任务包括诊断、肺部严重程度以及 S/F 比；与直接针对这些任务进行训练的端到端模型相比，这些任务特定的专家模型具有可比的准确度，同时成本显著降低。

    Jun, 2022

  • 自监督预训练用于二维医学图像分割

    本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在 ImageNet 上可以获得最佳精度。

    Sep, 2022