May, 2024

PLUTO：病理通用 Transformer

PDF
TL;DR该研究提出了一种轻量级的病理学 FM，即 PLUTO，它在多个病理学尺度上从多个 WSI 中抽取有意义的表示，以支持多样化的病理学任务，包括实例分割、瓦片分类和幻灯片级别预测，并通过在多个基于生物的任务、组织类型、分辨率、染色和扫描仪的外部和内部基准测试中的表现，证明 PLUTO 相当于或优于现有的基线和基础模型。该研究为病理图像分析提供了通用嵌入的发展方向，并促进进一步探索病理学基础模型在数据多样性、架构改进、样本效率和实际应用中的可行性方面。
pathologywhole slide imageplutoembeddingpathology image analysis
发现论文，激发创造
  • 一种面向计算病理学的通用自监督模型

    使用超过 100 万个组织样本预训练的自我监督模型 UNI，在计算病理学中取得了巨大的突破，具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力，为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。

    Aug, 2023

  • Hibou：病理学基础视觉变换器家族

    通过数百万激光制片和荧光制片图像进行预训练，本论文介绍了基于 DINOv2 框架的 Hibou 视觉转换器系列，展示了在补丁级别和幻灯片级别基准测试中优于现有方法的卓越性能。

    Jun, 2024

  • RudolfV: 病理学家为病理学家打造的基础模型

    通过半自动化数据整理和引入病理学领域知识，我们扩展了数字病理学全幻灯片图像的基础模型的最新技术。我们的模型在公共和内部基准测试中表现良好，尽管使用的幻灯片数量比竞争模型少一个数量级。我们预计在更多数据和更大的模型规模下，我们的方法将进一步提高性能，并能够处理日益复杂的诊断和生物医学研究中的实际问题。

    Jan, 2024

  • PathAlign: 一种适用于组织病理学全切片图像的视觉 - 语言模型

    基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

    Jun, 2024

  • Virchow：百万切片数字病理基础模型

    使用自监督学习方法，创建了 Virchow 计算病理学的 632 百万参数深度神经网络基础模型，以解决病理学任务中缺乏数据的挑战，并在病理图像分类、癌症检测和亚型、生物标志物预测等多个任务中表现出色，显示了预训练在病理学图像数据集上的重要性和潜力。

    Sep, 2023

  • 自监督视觉 Transformer 在组织病理学中学习视觉概念

    本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

    Mar, 2022

  • 医疗系统规模下的计算病理学 -- 来自三十亿图像的自监督基础模型

    最近在自我监督学习方面的突破已经实现了使用大规模无标签数据集来训练视觉基础模型，该模型可以推广到各种下游任务。本项目的目标是训练最大的学术基础模型，并通过在大型临床病理数据集上的预训练和下游性能评估来对最重要的自我监督学习算法进行基准测试。结果表明，与自然图像的预训练相比，病理数据的预训练对下游性能是有益的。此外，DINO 算法在所有测试任务中实现了更好的泛化性能。这些结果标志着计算病理学研究的一个阶段性变化，为基于大规模、并行预训练的更高性能模型开辟了新时代。

    Oct, 2023

  • 数字病理学中无旋转偏见的图像表示学习

    本研究提出了三个关键技术贡献，分别为：一种快速的片段选择方法（FPS）用于全切片图像分析，显著降低计算成本同时保持准确性；一种轻量级组织病理特征提取器 PathDino，仅包含五个 Transformer 块和 900 万参数，较其他方法大大减少；一种使用自监督学习的旋转不变表示学习范式，有效减轻过拟合。并且通过在 12 个不同数据集上的评估，证明我们的紧凑模型优于现有的最先进组织病理专用视觉转换器，还验证了其在数字病理学中增强图像分析的鲁棒性。

    Nov, 2023

  • 超越多实例学习：全分辨率全内存端到端病理切片建模

    人工智能（AI）在大规模数字化临床数据集上训练系统以提高健康结果方面具有巨大潜力。计算病理学作为对诊断和生物标志物具有重大影响的大量显微镜图像数据，处于这一发展的前沿。百亿像素病理学切片由于其巨大的尺寸而面临独特挑战，通常被分成数万个较小的瓷砖进行分析。我们提出了一种新方法，通过在内存中全面高分辨率地同时训练瓷砖编码器和整个切片聚合器来解决这个问题，弥合了输入和切片级监督之间的差距。虽然计算成本更高，但详细的定量验证显示了病理基础模型的大规模预训练的前景。

    Mar, 2024

  • 大规模病理基础模型训练之路

    本文介绍了基于现代自监督学习算法的深度学习方法的最新进展，以及构建医学图像基础模型的相关工作。我们通过扩展性强的训练流程和综合分析不同超参数选择和训练技术，构建了一系列针对病理学图像的基础模型，并经过实验评估，在乳腺癌亚型分类和结肠癌核分割等不同任务上达到了最先进的性能水平。最后，为了统一领域内的评估方法并简化不同基础模型的比较，我们还提供了开源框架，用于在不同任务中一致评估病理学基础模型。

    Mar, 2024