Apr, 2023

CLCLSA: 交叉组学链接嵌入，基于对比学习和自注意力的多组学一体化方法，可处理不完整的多组学数据

PDF
TL;DR本文提出了一种基于深度学习的多组学（multi-omics）数据集成方法 CLCLSA，利用跨组学自动编码器学习生物数据的特征表示，采用多组学对比学习和自关注机制实现数据集成，通过在四个数据集上的实验证明其在应用不完整数据进行多组学分类上具有优异性能。
multi-omics datadeep learningdata integrationclclsaincomplete data
发现论文，激发创造
  • Auto-MLM: 自监督多语言知识检索的改进对比学习

    本文提出一种结合对比学习和自动编码器掩码语言模型的联合训练方法，用于自我监督多语言知识检索，通过生成新的标记表示来预测掩码标记，实验结果表明，在 8 种语言上，我们的提出的方法在 AliExpress 和 LAZADA 服务语料库和公开可用的语料库上都 consistently 超过了所有先前的 SOTA 方法。

    Mar, 2022

  • 基于癌症多组学数据的多头注意机制学习癌症新亚型和治疗

    我们提出了一个基于注意力机制的无监督对比学习框架（AMUCL），用于分析癌症多组学数据以识别和表征癌症亚型。其中，基于多头注意力机制的 DMACL 模型用于学习多组学数据特征和聚类，并识别新的癌症亚型。通过计算特征空间和样本空间中样本之间的相似性，该无监督对比学习方法将亚型聚类。相较于其他 11 个深度学习模型，在单细胞多组学数据集上，DMACL 模型获得了 0.002 的 C-index、0.801 的轮廓系数和 0.38 的戴维森堡丁指数。在癌症多组学数据集上，DMACL 模型获得了 0.016 的 C-index、0.688 的轮廓系数和 0.46 的戴维森堡丁指数，为每种癌症类型提供了最可靠的癌症亚型聚类结果。最后，我们在 AMUCL 框架中使用 DMACL 模型揭示了 AML 的六个癌症亚型，并通过 GO 功能富集分析、亚型特定的生物学功能和 AML 的 GSEA 进一步提高了基于可推广的 AMUCL 框架的癌症亚型分析的解释能力。

    Jul, 2023

  • ContIG：医学成像与基因组学的自监督多模态对比学习

    该论文提出了一种自监督学习算法，名为 ContIG，可从未标记的医学图像和遗传数据中学习，通过对图像和遗传数据之间的交叉模态关联进行学习，该算法在多个基准测试任务中表现良好，在了解了有关模型学习的有趣关系后，还开展了基因组广泛联想研究。

    Nov, 2021

  • 低标签、高数据情境下的多组学嵌入自监督学习

    利用对比式自监督学习训练预训练的 FT-Transformer 模型，从 miRNA、mRNA 或 RPPA 表达数据中预测癌症类型。当标记样本稀缺而未标记样本众多时，相比标准的表格数据基准（XGBoost 和 CatBoost），该模型表现更好。我们还探讨了多模态模型的自监督学习，提出了一种后融合模型，其中每个组学通过自己的子网络进行处理，子网络输出求平均并传递给预训练或下游目标函数。实验证明多模态预训练可以提高单一组学的预测效果，并且对于未标记的多模态样本丰富而标记的单一组学样本稀缺的数据集，这是有用的。另外，我们还展示了分别对每个组学特定模块进行预训练的高效性。这使得该模型可以应用于大量未标记数据可用于每个组学的各种情境，但只有少数带标签样本的情况。

    Nov, 2023

  • MoCLIM: 通过多组学对比学习与组学推理模型实现准确的癌症亚型划分

    通过对多组学数据的分析，该研究利用 MoCLIM 框架，独立提取来自不同组学模式的信息特征，从而改善癌症亚型分类结果，并基于对不同组学模态的对比学习实现了癌症亚型的低维空间聚类。实验证据表明，该方法在少量高维癌症数据实例中显著提高了数据拟合和亚型分类性能，并在最终组件中结合了各种医学评估，从而提供了高可解释性的医学分析。

    Aug, 2023

  • MHCCL: 遮盖分层聚类对比学习用于多变量时间序列

    本文提出了一种基于遮盖的分层聚类对比学习模型（MHCCL），该模型利用多个潜在分区的分层结构中获得的语义信息用于多元时间序列的表示学习，通过新颖的向下遮罩策略过滤假负面、补充正面，进一步结合了聚类层次结构的多粒度信息，设计了新颖的向上遮罩策略以优化聚类元数据。实验结果表明，MHCCL 模型在七个广泛使用的时间序列数据集上比现有的无监督时间序列表示学习方法表现更卓越。

    Dec, 2022

  • 整合各类组学：面向基因组范围数据整合的患者分层

    通过 IntegrAO（Integrate Any Omics）整合不完整的多组学数据和分类新样本的方法，可以在癌症患者分层中解决多组学数据集成的挑战，并准确分类具有部分组学数据的新患者，从而提供了一种整体性的患者特征化方法。

    Jan, 2024

  • 基于对比学习的边缘计算网络中流行度预测的生存分析

    提出一种基于对比学习的生存分析（CLSA）框架，结合移动边缘缓存（MEC）和深度神经网络（DNNs），用于预测 MEC 节点存储的最受欢迎的内容，相较于现有的时序 DNN 模型在网络输入规模方面具有更好的性能

    Mar, 2023

  • 基于自动对比学习策略的时间序列分析

    在本文中，我们提出了一种微软的自动机器学习（AutoML）实践，名为自动对比学习（AutoCL），它可以自动学习对各种时间序列数据集和任务进行对比学习表示。我们首先构建了一个覆盖数据增强、嵌入变换、对比对构建和对比损失的规范化的通用搜索空间，然后引入了一种高效的强化学习算法，用于从验证任务的性能中优化对比学习策略，以在搜索空间中获得更有效的策略。实验结果表明，AutoCL 能够自动找到适合给定数据集和任务的对比学习策略，并且我们还提供了实证分析作为未来对比学习策略设计的指导。

    Mar, 2024

  • 使用增强图卷积网络的多标签持续学习

    提出增强图卷积网络（AGCN++）并使用部分标签编码器（PLE）对多标签连续学习（MLCL）进行跨任务标签关系构建、避免灾难性遗忘等处理，实验结果表明该方法是有效的。

    Nov, 2022