整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

Jun, 2024

基于多模态学习的鉴别性淋巴结转移诊断模型，在临床医学实践中，通过双向蒸馏框架获得全面的多模态知识和稳健的 WSI 特征，有效地处理多模态数据和丢失模态，提高早期乳腺癌患者治疗决策的准确性。

Jan, 2024

本研究旨在发展一种准确的淋巴瘤分割方法，采用 18F - 氟脱氧葡萄糖正电子发射断层扫描和计算机断层扫描图像结合视觉转换器和双编码器进行淋巴瘤分割，这在计算辅助淋巴瘤诊断和治疗方面具有巨大潜力。

Feb, 2024

本文提出了一种利用深度学习中的多例、领域对抗和多尺度学习框架，从组织病理学图像中识别癌症亚型的新方法，并在 196 个病例中测试，表明该方法比标准 CNN 或传统方法更准确，且与标准病理学家的准确性相当。

Jan, 2020

我们在本文中对用于成年型弥漫性胶质瘤的计算机辅助分类的各种迁移学习策略和深度学习架构进行了全面比较。我们评估了针对组织病理学图像目标领域的域外 ImageNet 表示的泛化能力，并研究了使用自监督和多任务学习方法进行预训练的在域适应的影响。此外，我们提出了一种半监督学习方法，其中利用微调模型来预测整张幻灯片图像的未标注区域的标签。在使用先前步骤中确定的真实标签和弱标签进行重新训练后，模型表现优异，平衡准确率为 96.91％，F1 分数为 97.07％，并最大程度地减轻了病理学家的注释工作量。最后，我们提供了一种工作在幻灯片图像级别的可视化工具，生成能突出肿瘤区域的热图，从而为病理学家提供幻灯片图像中最有信息的部分的见解。

Sep, 2023

本研究开发了一种新的深度学习池化操作符 —— CHARM，以提高癌症诊断的准确性和可解释性，实验结果证明其在非小细胞肺癌和淋巴结转移的亚型识别方面优于其他弱监督分类算法。

May, 2023

本研究利用 transformer-based 架构实现了单阶段多模态数据融合，并在图像与病患数据丰富的环境下击败了其他单模态和多模态深度学习架构，同时，所选架构还提供了本地可解释性支持。

Apr, 2023

基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

Nov, 2023

利用 H&E 染色组织精确分类淋巴瘤亚型的方法是复杂的，本研究提出了 LymphoML - 一种可解释的机器学习方法，它识别与淋巴瘤亚型相关的形态特征，通过处理 H&E 染色组织微阵列核心、分割细胞核和细胞、计算包括形态学、纹理和结构的特征，并训练梯度增强模型进行诊断预测。LymphoML 的可解释模型在有限量的 H&E 染色组织上达到了与病理学家使用全层切片图像相当的诊断准确性，并在跨越 8 个淋巴瘤亚型的 670 个病例的危地马拉数据集上胜过黑匣子深度学习。通过 SHapley Additive exPlanation (SHAP) 分析，我们评估了每个特征对模型预测的影响，并发现核形状特征对 DLBCL（F1 得分：78.7%）和典型霍奇金淋巴瘤（F1 得分：74.5%）最具鉴别性。最后，我们首次证明了将 H&E 染色组织特征与标准化的 6 种免疫染色特征相结合的模型具有类似的诊断准确性（85.3%）与 46 种免疫染色特征的模型（86.1%）。

Nov, 2023

G-HANet 是一种新颖的基于基因组知识提炼的超级关注网络，通过对 WSI 图像进行基因组数据重构，实现了来自组织病理学和基因组学角度的病人超级关注建模，以改善癌症预后。

Mar, 2024