利用多模式单细胞技术，通过整合不同数据类型并建模模态之间的相互关系，为疾病生物标志物检测和药物发现提供了改进，实验结果表明机器学习技术对于建模细胞发展中 DNA 到 RNA 及蛋白质之间的协变性具有显著效果，有望推动对细胞分化和功能的理解并发挥机器学习的潜能。

Nov, 2023

本文介绍了一种名为 scMoGNN 的图神经网络框架，用于多模态单细胞技术数据的模态预测，模态匹配和联合嵌入，取得了 SOTA 的成果，并在 NeurIPS 2021 竞赛中获胜，所有实现都已整合到 DANCE 软件包中。

Mar, 2022

该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

Apr, 2023

介绍了一种新颖的方法，利用图像数据和分子表示学习跨模态表示进行药物发现；提出了两种创新的损失函数 EMM 和 IMM，基于 CLIP 构建，利用弱监督和高内容筛选中的跨站点复制；通过在跨模态检索上对比已知基准线，在学习更好表示并减轻批次效应方面，我们的方法表现更佳；此外，还提出了用于 JUMP-CP 数据集的预处理方法，有效将所需空间从 85Tb 缩减到可用的 7Tb，仍保留所有扰动和大部分信息内容。

Nov, 2023

该研究提出了一种名为 COEM 的算法，能够利用同一个细胞中多种分子测量值的信息来进行 metacell 的聚类，以实现更精确和分辨率更高的结果，并且有效地提高了基因调控的推断任务的性能。

Jul, 2022

本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

May, 2023

基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

Jan, 2022

我们提出了一种合作学习框架，通过知识分解和队列引导方法协同推进癌症生存分析，以提高多模态数据的融合、鉴别和泛化能力。通过四个不同组成部分：冗余性、协同性、独特性和队列引导建模，我们的模型在融合多模态数据进行生存分析时展现出了卓越的效果。

Apr, 2024

用于多模态高分辨率显微镜图像的弱监督细胞分割是一个基本任务。本文提出了 MEDIAR，这是一个周全的细胞实例分割流程，将数据中心和模型中心方法相结合，实现了在多模态下的高效分割。

Dec, 2022

细胞分割是显微图像中定量单细胞分析的关键步骤，现有的细胞分割方法通常针对特定模态或需要手动干预以指定不同实验设置中的超参数。本研究提出了一个多模态细胞分割基准，包括超过 1500 个带标签图像，来自 50 多个不同的生物实验。前几名的参与者开发了一种基于 Transformer 的深度学习算法，不仅超越了现有方法，还可以应用于不同显微成像平台和组织类型的各种显微图像，无需手动参数调整。这个基准和改进的算法为显微成像中更准确和多功能的细胞分析提供了有希望的途径。

Aug, 2023