PRISM:一种用于切片级组织病理学的多模式生成基础模型
使用超过100万个组织样本预训练的自我监督模型UNI,在计算病理学中取得了巨大的突破,具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力,为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。
Aug, 2023
通过细化基础模型,仅经历两小时或三天的单个GPU训练,我们可以在计算病理学中的特征提取上相媲美或超越现有的方法,这表示即使资源有限,也可以针对特定下游任务和数据集训练一个定制的特征提取器。
Jan, 2024
人工智能(AI)在大规模数字化临床数据集上训练系统以提高健康结果方面具有巨大潜力。计算病理学作为对诊断和生物标志物具有重大影响的大量显微镜图像数据,处于这一发展的前沿。百亿像素病理学切片由于其巨大的尺寸而面临独特挑战,通常被分成数万个较小的瓷砖进行分析。我们提出了一种新方法,通过在内存中全面高分辨率地同时训练瓷砖编码器和整个切片聚合器来解决这个问题,弥合了输入和切片级监督之间的差距。虽然计算成本更高,但详细的定量验证显示了病理基础模型的大规模预训练的前景。
Mar, 2024
通过本研究,我们首次引入HistGen,一个采用多实例学习的框架用于组织病理学报告生成,并提供了用于评估的基准数据集。该模型通过两个精心设计的模块来提高报告生成的效率,从而加强了临床效果。实验结果表明该模型在报告生成方面表现优于现有最先进模型,并且在癌症亚型和生存分析任务上的微调表明具有很强的迁移学习能力。
Mar, 2024
基于 BLIP-2 框架,使用病理报告中的精选文本与整张切片图像配对,开发了一种视觉语言模型,实现了共享的图像-文本嵌入空间,如文本或图像检索以寻找感兴趣的案例,以及将 WSI 编码器与冻结的大型语言模型(LLM)集成,以实现基于 WSI 的生成文本能力,如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上,展示了病理医师对文本生成和文本检索的评估,以及 WSI 分类和工作流程优先级排序(切片级别的分流)。平均来说,根据病理医师的评估,78%的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。
Jun, 2024
通过对10种聚合技术在9个临床相关任务中的全面测试分析,结果显示领域特定的基于自我监督学习的模型比基于ImageNet的模型在聚合方法方面表现更好,但空间感知的聚合器仅在使用基于ImageNet预训练模型时才显著提高性能。同时,没有单一模型在所有任务中表现优秀,空间感知模型也不如预期一般表现卓越,这些发现强调了对更具适应性和普适性的聚合技术的需求,以指导未来临床病理学中医学人工智能不断发展的需求。
Jul, 2024
本研究解决了当前病理基础模型在外部队列和临床相关任务中独立评估不足的问题。我们基准测试了十种组织病理基础模型在多个癌症患者的样本上的表现,发现CONCH模型在42%的任务中表现最佳,而融合多个互补基础模型在66%的任务中优于单一模型。研究结果强调数据多样性在模型性能提升中的重要性。
Aug, 2024
本研究解决了当前组织病理学全幻灯片图像分析中忽视幻灯片之间可能的相互关系的问题。提出的SlideGCD模型通过引入幻灯片间的关联性,提升了现有多实例学习框架的性能,验证了在癌症分型、分期、存活预测和基因突变预测等任务中的有效性和鲁棒性。
Oct, 2024
本研究探讨了先进的组织病理学基础模型在多染色自身免疫免疫组化数据集上的泛化能力。研究表明,尽管在肿瘤病理学上表现良好,这些模型在处理自身免疫性疾病时的有效性和重要性却存在问题,揭示了从癌症到自身免疫组织病理学知识转移的挑战。该研究强调了在不同组织病理学任务中仔细评估AI模型的重要性。
Oct, 2024