QuST: QuPath 扩展的整合全层切片图像和空间转录组学分析
该研究论文介绍了一种实用的基于深度学习的固体肿瘤相关建模工作流程(STAMP),使得可以直接从组织病理学图像中预测生物标志物。它包括问题定义、数据预处理、建模、评估和临床转化五个主要阶段,并且注重作为一个合作框架,为临床医生和工程师在计算病理学领域开展研究项目提供支持。
Dec, 2023
数字病理学领域近年来涌现了大量的深度学习模型,为了解决模型在文献中的共享和使用难题,本文介绍了一种名为 WSInfer 的开源软件生态系统,旨在通过 Python 包、命令行工具、QuPath 扩展以及模型仓库的组合,帮助病理学家更加便捷地应用深度学习模型于病理图像上。
Sep, 2023
基于 BLIP-2 框架,使用病理报告中的精选文本与整张切片图像配对,开发了一种视觉语言模型,实现了共享的图像 - 文本嵌入空间,如文本或图像检索以寻找感兴趣的案例,以及将 WSI 编码器与冻结的大型语言模型(LLM)集成,以实现基于 WSI 的生成文本能力,如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上,展示了病理医师对文本生成和文本检索的评估,以及 WSI 分类和工作流程优先级排序(切片级别的分流)。平均来说,根据病理医师的评估,78%的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。
Jun, 2024
本研究提出了一种基于生物通路令牌和组织学图像令牌的转换器模型,结合了 WSI 和大量转录组学数据,具有作为细胞功能解释单位的前瞻性,并在肿瘤患者生存预测方面取得了最佳效果。
Apr, 2023
通过 Quilt-Instruct 数据集和 Quilt-LLaVA 模型,本研究提出了一种能够在全幅切片图像中进行诊断推理和空间感知的多模态组织病理学问答系统。该模型在多个公共组织病理数据集上表现出比 SOTA 模型高出超过 10% 的性能。
Dec, 2023
我们提出了一种基于深度学习的组织病理学数据压缩方法,通过压缩染色和 RGB 通道,并结合压缩自编码器来获得量化的潜在表示,从而在分类任务中展现出卓越的性能,同时基本保留了图像质量。
Jun, 2024
数字病理学和人工智能模型的整合已经改变了组织病理学,为全面扫描图像(WSIs)的处理和分析提供了新机遇。本文提出了一种无监督补丁算法 SPLICE,通过顺序分析 WSIs 并选择非冗余特征,将 WSIs 压缩为紧凑的代表性补丁集,从而提高了搜索和匹配应用的准确性,减少了计算时间和存储需求。SPLICE 作为一种无监督方法,可以将组织图像的存储需求降低 50%,从而使计算病理学的许多算法能够更高效地运行,为数字病理学的快速应用铺平了道路。
Apr, 2024
本研究介绍了 STimage-1K4M,这是一个包含基因表达信息的新型数据集,用于多模态数据分析和计算病理学等领域,为细胞病理学研究提供了前所未有的精细度。
Jun, 2024
使用超过 100 万个组织样本预训练的自我监督模型 UNI,在计算病理学中取得了巨大的突破,具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力,为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。
Aug, 2023