Jul, 2024

多模态掩蔽孪生网络改进胸部 X 射线表征学习

PDF
TL;DR自我监督学习和医学图像领域主要依赖预训练期间的成像模态。本研究中提出了一种融合电子健康记录（EHR）数据的自我监督预训练方法，通过 Masked Siamese Network (MSN) 来提高胸部 X 射线图像的质量，并通过线性评估验证了该方法对图像表示质量的显著改进。
self-supervised learningmedical imageselectronic health records (ehr)chest x-ray representationsvision transformer
发现论文，激发创造
  • 面具孪生网络用于标签高效学习

    提出了一种自监督学习框架 ——Masked Siamese Networks (MSN)，用于学习图像表示。通过将随机遮罩块的图像视图的表征与原始未遮罩图像的表征进行匹配，可以进行自监督预训练，该策略特别适用于 Vision Transformer 模型，在提高联合嵌入结构的可扩展性的同时，产生高语义级别的表示，并在低样本图像分类方面表现竞争性，对 ImageNet-1K 数据集上，使用基础 MSN 模型以仅有 5000 个带注释的图像，达到了 72.4％的 top-1 准确度，并且只有 1％的 ImageNet-1K 标签，就取得了 75.7％的 top-1 准确度，创立了该基准测试的自监督学习的新的最佳成果。

    Apr, 2022

  • 探索 X 光胸片双子表示学习的图像增强技术

    本研究采用孪生网络对三个大型医学数据集上的胸部 X 光片进行异常检测，系统评估了不同数据增强方法对于自监督学习中所学表示质量和鲁棒性的影响，最终确定了一组能够在抗干扰性和泛化性上优于传统模型的最佳增强方法。

    Jan, 2023

  • 探究用于多标记胸部疾病分类的遮蔽自编码器

    本文介绍了一种基于自编码器预训练的视觉 Transformer 模型（ViT）在医学图像分类任务上的性能优化方法，并探讨了策略和技术详细研究。

    Oct, 2022

  • MiM: 3D 医学图像分析的层叠掩模自监督预训练

    提出一种用于 3D 医学图像的新型预训练框架 “Mask in Mask（MiM）”，通过学习来自不同尺度的分层视觉标记的辨别性表示，在器官 / 病变 / 肿瘤分割和疾病分类等任务中展现出 MiM 相对于其他自我监督学习方法的优越性能，此外，大规模预训练数据集的扩展进一步提升了 MiM 在下游任务中的表现。

    Apr, 2024

  • 基于视觉变压器的自监督方法用于胸部 X 光片分类

    我们提出了一种自监督方法 DINO-CXR，通过对胸部 X 射线的分类进行自监督预训练，证明了该方法在肺炎和 COVID-19 检测方面的有效性，并在准确性方面胜过了最先进的方法，在 AUC 和 F-1 得分方面取得了可比较的结果，同时少使用了标记数据。

    Aug, 2023

  • 如何训练您的 CheXDragon：为转移至新任务和医疗系统训练胸部 X 光模型

    本研究探讨了多种监督和自我监督预训练策略在医疗图像多模式数据上的性能表现，并对其在新任务和医疗保健系统中的表现进行了评估和实验，结果表明多模式 SSL 性能优于单模式 SSL，并提供了适用于面对这些限制的场景的替代模型建议。

    May, 2023

  • 利用大规模无标签自然图像增强医疗 AI 模型的网络初始化

    通过在非医学图像上进行自监督学习的预训练来提高医学图像诊断准确性的研究表明，选择正确的预训练策略，尤其是自监督学习，在医学成像中对人工智能的诊断准确性具有重要意义。

    Aug, 2023

  • Swin Transformer 自监督预训练用于三维医学图像分析

    本文介绍了一种自我监督学习框架，使用适合医学图像分析的代理任务，成功地在各种人体器官的公开可用的 CT 图像上预训练模型，并在医学分割基准数据集上进行了微调，实现了最先进的匹配结果。

    Nov, 2021

  • 用于胸部 X 光分类的自监督深度卷积神经网络

    本研究提出了一种自监督深度神经网络，在未标记的胸部 X 射线数据集上进行预训练，并将学到的表示迁移到下游任务 —— 呼吸系统疾病的分类。在四个公共数据集上获得了有竞争力的结果，而不需要大量标记的训练数据。

    Mar, 2021

  • MLVICX：胸部 X 光自监督表示学习的多层方差 - 协方差探索

    利用 MLVICX 来增强自监督胸部 X 射线数据的表现力并取得 3% 以上的性能提升。

    Mar, 2024