最近整个切片图像（WSI）扫描仪和计算能力的进展显著推动了人工智能在组织病理学切片分析中的应用。

Oct, 2023

自我监督整个切片学习（S3L）框架可以通过利用整个切片的固有区域异质性、组织学特征变异性和信息冗余性来学习高质量的整个切片表示，用于癌症诊断和基因突变预测等诊断任务，并且在两种生物医学显微镜条件下显著优于基线模型。

Feb, 2024

本研究提出了一种基于生物通路令牌和组织学图像令牌的转换器模型，结合了 WSI 和大量转录组学数据，具有作为细胞功能解释单位的前瞻性，并在肿瘤患者生存预测方面取得了最佳效果。

Apr, 2023

整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

Jun, 2024

该论文研究了域特定预训练模型对神经胶质母细胞瘤分类的影响和应用性，通过考虑目前最先进的多实例学习模型，CLAM 和 TransMIL，并评估模型的置信度和预测性能，表明域特定预训练有助于提高模型置信度并实现 WSI 基础的神经胶质母细胞瘤亚型分类的最新最佳性能。

Feb, 2023

利用对比式自监督学习训练预训练的 FT-Transformer 模型，从 miRNA、mRNA 或 RPPA 表达数据中预测癌症类型。当标记样本稀缺而未标记样本众多时，相比标准的表格数据基准（XGBoost 和 CatBoost），该模型表现更好。我们还探讨了多模态模型的自监督学习，提出了一种后融合模型，其中每个组学通过自己的子网络进行处理，子网络输出求平均并传递给预训练或下游目标函数。实验证明多模态预训练可以提高单一组学的预测效果，并且对于未标记的多模态样本丰富而标记的单一组学样本稀缺的数据集，这是有用的。另外，我们还展示了分别对每个组学特定模块进行预训练的高效性。这使得该模型可以应用于大量未标记数据可用于每个组学的各种情境，但只有少数带标签样本的情况。

Nov, 2023

本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

Mar, 2022

该研究提出了一种基因诱导的多模态预训练（GiMP）框架，通过整合基因组学和全面切片图像（WSIs）进行分类任务，处理了多模态图像组合分类的主要挑战，并实现了 99.47% 的准确率。

Sep, 2023

基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

Jun, 2024

使用超过 100 万个组织样本预训练的自我监督模型 UNI，在计算病理学中取得了巨大的突破，具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力，为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。

Aug, 2023