数字病理学中的基础模型与信息检索
通过基于内容的图像检索(CBIR)系统中使用视觉基础模型作为功能强大且多用途的成品特征提取器,我们在包含 160 种病理学的 4 种模式的 160 万个二维放射学图像的综合数据集上进行基准测试,从而确定弱监督模型在性能上超越专门化模型,达到了 0.594 的 P@1,而且无需精调。研究还探讨了在获取病理学和解剖结构方面的挑战,表明准确获取病理学特征更加困难。尽管存在这些挑战,我们的研究强调了基础模型在放射学的 CBIR 中的巨大潜力,提出了向不需要特定调整的多用途医学图像检索系统的转变。
Mar, 2024
通过半自动化数据整理和引入病理学领域知识,我们扩展了数字病理学全幻灯片图像的基础模型的最新技术。我们的模型在公共和内部基准测试中表现良好,尽管使用的幻灯片数量比竞争模型少一个数量级。我们预计在更多数据和更大的模型规模下,我们的方法将进一步提高性能,并能够处理日益复杂的诊断和生物医学研究中的实际问题。
Jan, 2024
本文介绍了基于现代自监督学习算法的深度学习方法的最新进展,以及构建医学图像基础模型的相关工作。我们通过扩展性强的训练流程和综合分析不同超参数选择和训练技术,构建了一系列针对病理学图像的基础模型,并经过实验评估,在乳腺癌亚型分类和结肠癌核分割等不同任务上达到了最先进的性能水平。最后,为了统一领域内的评估方法并简化不同基础模型的比较,我们还提供了开源框架,用于在不同任务中一致评估病理学基础模型。
Mar, 2024
使用自监督学习方法,创建了 Virchow 计算病理学的 632 百万参数深度神经网络基础模型,以解决病理学任务中缺乏数据的挑战,并在病理图像分类、癌症检测和亚型、生物标志物预测等多个任务中表现出色,显示了预训练在病理学图像数据集上的重要性和潜力。
Sep, 2023
最近,在医学领域中,有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证,我们观察到,与显著较小的传统深度网络生成的表示相比,这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。
Sep, 2023
本文研究了计算病理学的视觉表征学习问题,通过利用来自公共资源的大规模图像 - 文本对和病理学中的领域特定知识。我们首次构建了包含 50,470 个有信息量的属性、涵盖 32 种人体组织下的 4,718 种需要病理诊断的疾病的病理知识树。我们开发了一种基于知识增强的视觉 - 语言预训练方法,通过语言模型将病理特定知识投射到潜在嵌入空间中,并用于引导视觉表征学习。我们进行了全面的实验证明了我们提出的组件的有效性,在不同的下游任务中,包括跨模态检索、病理图块上的零样本分类以及整个切片图像上的零样本肿瘤亚型划分,都取得了显著的性能提高。所有代码、模型和病理知识树将提供给研究社群。
Apr, 2024
通过提供医学成像领域基础模型的综合概述,本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。
Oct, 2023
利用联接图像和文本嵌入(CITE)方法改进病理图像分类,通过注入来自在广泛的生物医学文本中预训练的语言模型所获取的文本见解,使基础模型适应病理图像理解,并在 PatchGastric 胃肿瘤病理图像数据集上取得了领先的性能。
Jul, 2023
数字化组织切片和人工智能,特别是深度学习的快速进展,推动了计算病理学领域的发展。这篇综述总结了计算病理学领域近期的方法学进展,重点介绍了这些发展如何使临床实践自动化,并可发现新的生物标志物。作者还提供了未来展望,指出该领域将扩展到更广泛的临床和研究任务,并涉及越来越多样化的临床数据模态。
Dec, 2023