Apr, 2024

DinoBloom：一种用于血液学中可推广的细胞嵌入的基础模型

PDF
TL;DR血液病学中，计算模型具有显著的潜力，以提高诊断准确性、简化工作流程，并减少分析外周血细胞或骨髓涂片中的单个细胞的乏味工作。为解决大数据量效应不明显、数据集规模小以及从自然图像转移学习性能差的问题，我们介绍 DinoBloom，这是血液病学中首个基于单个细胞图像的基础模型，利用了定制的 DINOv2 流程。我们的模型基于 13 个多样化的公开数据集构建而成，包含了迄今为止最大的血液病学开源队列，包括超过 380,000 个白细胞图像的外周血和骨髓涂片。我们评估其泛化能力时，使用具有挑战性的域转移的外部数据集进行测试。我们展示了我们的模型在血液和骨髓涂片的细胞类型分类方面，在线性探测和 K 近邻评估，以及通过弱监督多实例学习对急性髓系白血病亚型进行分类方面，都优于现有的医学和非医学视觉模型。DinoBloom 系列模型（small、base、large 和 giant）可以适应各种下游应用，并成为分类问题的一个强有力的基线，同时有助于评估新数据集中的大数据批次效应。所有模型均可在 github.com/marrlab/DinoBloom 上获取。
computational modelshematologysingle cell imagesdinobloomdiagnostic accuracy
发现论文，激发创造
  • 关于医学图像分析的通用视觉基础模型：基于 DINOv2 的放射学基准实验研究

    本研究全面评估了基于自学习的 DINOv2 模型在放射学领域的应用，通过超过 100 个实验在不同模态下进行疾病分类和器官分割等任务，发现 DINOv2 在分割任务中表现优越，在疾病分类中具有竞争力的结果。这些发现为优化医学影像的预训练策略和加强 DINOv2 在自然图像与放射图像分析之间的桥梁作用提供了深入的见解。

    Dec, 2023

  • 血液形态学中鲜明细胞分类的失衡域泛化

    本文介绍了一种针对不同细胞域之间数据分布不平衡和因噪声、神经元元素变化等因素引起的域移动问题的深度卷积神经网络。该方法在精确识别细胞分类方面表现出色，为实验室和诊所的应用提供了坚实的基础。

    Mar, 2023

  • 自然领域基础模型在医学图像分类中是否有用？

    通过对五种先进的基础模型（SAM、SEEM、DINOv2、BLIP 和 OpenCLIP）在医学图像分类任务中的可转移性进行评估，我们的研究显示了混合的结果。尽管 DINOv2 在不断超越 ImageNet 预训练的标准实践方面表现出色，但其他基础模型未能始终超越此已建立的基线，这表明它们在医学图像分类任务中的可转移性存在限制。

    Oct, 2023

  • 医疗系统规模下的计算病理学 -- 来自三十亿图像的自监督基础模型

    最近在自我监督学习方面的突破已经实现了使用大规模无标签数据集来训练视觉基础模型，该模型可以推广到各种下游任务。本项目的目标是训练最大的学术基础模型，并通过在大型临床病理数据集上的预训练和下游性能评估来对最重要的自我监督学习算法进行基准测试。结果表明，与自然图像的预训练相比，病理数据的预训练对下游性能是有益的。此外，DINO 算法在所有测试任务中实现了更好的泛化性能。这些结果标志着计算病理学研究的一个阶段性变化，为基于大规模、并行预训练的更高性能模型开辟了新时代。

    Oct, 2023

  • RudolfV: 病理学家为病理学家打造的基础模型

    通过半自动化数据整理和引入病理学领域知识，我们扩展了数字病理学全幻灯片图像的基础模型的最新技术。我们的模型在公共和内部基准测试中表现良好，尽管使用的幻灯片数量比竞争模型少一个数量级。我们预计在更多数据和更大的模型规模下，我们的方法将进一步提高性能，并能够处理日益复杂的诊断和生物医学研究中的实际问题。

    Jan, 2024

  • Virchow：百万切片数字病理基础模型

    使用自监督学习方法，创建了 Virchow 计算病理学的 632 百万参数深度神经网络基础模型，以解决病理学任务中缺乏数据的挑战，并在病理图像分类、癌症检测和亚型、生物标志物预测等多个任务中表现出色，显示了预训练在病理学图像数据集上的重要性和潜力。

    Sep, 2023

  • FlowCyt: 深度学习方法在流式细胞术多类分类中的比较研究

    该研究提出了 FlowCyt，这是第一个针对流式细胞术数据进行多类单细胞分类的综合性基准。使用骨髓样本来对每个细胞的十二个标记进行表征，并通过监督感应学习和半监督传导学习在每个患者中最多使用 100 万个细胞进行实验。通过 Gaussian 混合模型，XGBoost，随机森林，深度神经网络和图神经网络（GNNs）等基准方法，GNNs 通过利用图编码数据的空间关系展现出卓越的性能。该基准允许对临床相关的分类任务进行标准化评估，并进行探索性分析以洞察血液细胞表型，并且是第一个具有丰富注释的异质数据集的公开流式细胞学基准。它将促进单细胞分析新方法的开发和严格评估。

    Feb, 2024

  • Hibou：病理学基础视觉变换器家族

    通过数百万激光制片和荧光制片图像进行预训练，本论文介绍了基于 DINOv2 框架的 Hibou 视觉转换器系列，展示了在补丁级别和幻灯片级别基准测试中优于现有方法的卓越性能。

    Jun, 2024

  • 采用 InceptionResNetV2 技术进行骨髓细胞形态学检测

    本文提出了一种基于迁移学习模型的骨髓细胞检测方法，解决了由于骨髓细胞学检查对专业知识和观察者变异性的依赖，而导致诊断延迟或不准确的难题，实现了 96.19% 的精度，且可适用于该领域内的其他医疗图像分析中。

    May, 2023

  • SCKansformer：基于 Kansformer 骨干和分层注意机制的骨髓细胞精细分类

    新提出 SCKansformer 模型在骨髓血液细胞方面具有更高的分类准确性和效率，超过传统和先进的微细胞分类方法。

    Jun, 2024