通过定义共享环境处理的新概念，设计了一种多模式图变换器（AMIGO），该变换器利用细胞图来提供患者的单一表示，并利用组织的分层结构，实现细胞级和组织级信息之间的动态关注，从而在生存预测方面显着优于包括ViT在内的所有其他现有技术，并且强大的鲁棒性表现使其可以在缺失20％的数据的情况下实现相同的性能，最后，在两个不同的癌症数据集中，演示了我们的模型能够将患者分为低风险和高风险组。

Mar, 2023

该研究提出一种生物模态嵌入框架 Bi-modaL Embedding for Expression Prediction(BLEEP)，可以生成整张组织学图像中的基因表达文件，以此代替传统的时间与金钱代价高昂的基因表达分析方式进行医学诊断和研究。

Jun, 2023

该研究提出了一种在VAE潜在空间中使用动态时间扭曲(DTW)进行多模式病理图像搜索的方法，并将其馈送到排名选择投票方案中，以检索与查询H&E幻灯片最相似的多重免疫荧光成像(mIF)。通过训练VAE和应用DTW，我们对齐并比较mIF和H&E幻灯片，从而融合了形态学H&E数据和来自mIF的免疫表型，从而提供了丰富的疾病状态视角，可能 彻底改变诊断过程，提高精度并实现个性化治疗选择的能力。

Jun, 2023

该论文介绍了HEMIT数据集，它是第一个公开提供细胞级对齐的数据集，可用于将HE和mIHC图像进行转换，论文还提出了一种新的双分支生成器架构，使用残差卷积神经网络和Swin Transformer，取得了优于其他流行算法的结果，在关键指标上表现出最高的得分，标志着染色转化任务领域的新标杆。

Mar, 2024

通过将免疫组化数据与H&E染色图像相结合，将其纳入机器学习模型中，可以提高癌症分级的预测结果。提出的框架在公共数据集BCI上取得了令人印象深刻的0.953的高准确率。

May, 2024

通过分解组织学图像和基因组学的特征子空间，反映不同的肿瘤和微环境特征，我们提出了一种生物解释性和稳健的多模态学习框架，以高效地整合组织学图像和基因组学，从而解决了肿瘤生态系统中肿瘤和微环境共同增加恶性的内在复杂性问题。

Jun, 2024

路径学语义保持学习方法 (PSPStain) 提出了两种新颖的学习策略：1) 以蛋白质感知为中心学习的策略（PALS），通过焦点光密度（FOD）图维持蛋白质表达水平的一致性，即代表分子级语义信息；2) 原型一致学习策略（PCLS），通过原型一致性学习增强图像间的语义互动。PSPStain 在两个公共数据集上评估了其性能，使用了五个指标：三个与临床相关的指标和两个与图像质量相关的指标。大量实验证明，PSPStain 胜过当前最先进的 H&E-to-IHC 虚拟染色方法，并展示了真实和虚拟染色分期之间的高度病理学相关性。

Jul, 2024

本研究解决了在乳腺癌中从H

Aug, 2024

本研究解决了在医学诊断中整合不同模态数据（如组织病理学图像和基因测序数据）的稀缺性和挑战，提出了一种名为MarbliX的创新框架，能够将这些数据转化为精简的二进制患者代码。实验结果显示，MarbliX能为医疗专业人员提供深入的见解，从而助力更精确的诊断、减少变异性，并扩展个性化治疗选择，尤其在癌症领域具有重要影响。

Sep, 2024

本研究解决了数字组织病理学中整合多染色图像面临的数据异构性和缺失数据的问题。我们提出了一种名为UNICORN的多模态变换器模型，该模型在训练和推理过程中均能处理缺失数据，并在动脉粥样硬化严重程度分类预测中取得了67%的分类准确率，超越了其他先进模型，展示了其在医学研究中的广泛应用潜力。

Sep, 2024