本文提出了一种解释性的、端到端的多模态融合策略—— Pathomic Fusion，它基于组织学图像和基因组学（突变、CNV、RNA-Seq）特征，模型化跨模式的特征交互，并通过基于门控的注意机制控制每个表示的表现力，以提高生存结果预测的准确性，从而有助于其他医学问题的解决。

Dec, 2019

本文对如何使用深度学习应对肿瘤组织病理图片的问题进行了综述和分析，从130多篇研究论文中选出机器学习策略、生存模型、现有数据集和研究中存在的挑战和限制等方面进行总结和梳理。

Dec, 2019

通过定义共享环境处理的新概念，设计了一种多模式图变换器（AMIGO），该变换器利用细胞图来提供患者的单一表示，并利用组织的分层结构，实现细胞级和组织级信息之间的动态关注，从而在生存预测方面显着优于包括ViT在内的所有其他现有技术，并且强大的鲁棒性表现使其可以在缺失20％的数据的情况下实现相同的性能，最后，在两个不同的癌症数据集中，演示了我们的模型能够将患者分为低风险和高风险组。

Mar, 2023

我们提出了一种详尽的方法论，利用各种抽象级别，旨在增强图像分类对未被观察的医院的普遍性。我们的方法将基于增强的自我监督与组织病理学场景中的常见分布偏移作为先决任务相结合。通过这种方式，我们可以从训练图像中提取不依赖于训练标签的不变特征，从而覆盖不同的抽象级别。然后，我们使用领域对齐模块在不同训练医院之间进一步提取不变特征。为了表示参与医院的高度特定特征，我们训练一个编码器来对医院标签进行分类，而不考虑其诊断标签。每个编码器的特征随后被分解以最小化冗余并分离特征。这种表示涵盖了广泛的语义信息，使得我们的模型在面对来自不同分布的新出现的医院图像时表现出更高的鲁棒性。来自PACS数据集（一个领域泛化基准）、应用组织病理学特定扰动到MHIST数据集构建的合成数据集（定义了具有不同分布偏移的不同领域）和从TCGA的四个图像库派生的肾癌数据集的实验结果共同表明，我们提出的模型在管理不同级别图像粒度方面表现出了优越性。因此，当面临新的、来自分布不同的医院图像时，该模型显示出了更强的普适性。

Aug, 2023

建立和评估组织病理学基础模型在自我监督学习中的价值，并发现领域特定方法可以进一步提高性能。

Oct, 2023

基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架——互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型-表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近3600个Gigapixel WSIs进行实验，广泛的实验结果一致表明MGCT优于现有的最先进方法（SOTA）。

Nov, 2023

提出一种混合专家方案，用于从全玻片图像中检测五个显著的伪迹，其中包括受损组织、模糊、折叠组织、气泡和组织学上无关的血液，以提高计算病理学系统的可靠自动化诊断。

Mar, 2024

大型预训练transformers在基于任务的人工智能模型中发挥着重要作用，其中组织病理学基础模型在卵巢癌亚型分类中表现出良好的潜力，并通过多个评估指标显示出性能优势。

May, 2024

我们提出了一种新颖的生成方法用于组织病理学图像的领域泛化，通过使用一种生成的自监督视觉转换器从图像片段中提取特征，并将它们无缝地融合到原始图像中，从而创建具有不同属性的新颖的合成图像，丰富数据集，从而提高深度学习模型在未见领域中的泛化能力。

Jul, 2024

本研究解决了组织病理图像分析中对大规模数据集的依赖问题，提出了一种新颖的数据集蒸馏算法Histo-DD，结合了染色标准化和模型增强。实验结果表明，Histo-DD生成的合成样本能有效保留区分性信息，显著降低训练成本，并具有体系结构无关的特性，展示了合成样本在替代大规模数据集方面的潜力。

Aug, 2024