多模态图学习:一项调查
本文介绍了一种多模式图形学习的蓝图,该模型通过将不同模态的数据集组合成图形,并使用图形来利用跨模态的依赖关系,同时利用图形作为指导提供了图形学习方法的设计方案和指导,以解决在多模态数据集中学习的基本挑战。
Sep, 2022
本综述对 300 篇以上的文章进行了仔细审查,重点关注了两个主要方面的知识图谱 (KG) 相关研究,即 KG 驱动的多模式学习和多模式知识图谱 (MMKG),通过定义 KG 和 MMKG,探讨了它们的构建进展,以及 KG 驱动的多模式学习任务和 MMKG 任务,为相关研究提供了定义、评估基准和关键见解,最后讨论了当前的挑战和新兴趋势,如大型语言模型和多模式预训练策略的进展。本综述旨在作为 KG 和多模式学习研究领域的全面参考,为已经参与或考虑进行 KG 和多模式学习研究的研究人员提供洞察力,支持未来的工作。
Feb, 2024
本研究提出了一种多模态图学习框架(MMGL)来预测疾病,该框架对每种模式的特征进行聚合,通过自适应图学习来捕获患者之间的内在联系,并在两个疾病预测任务上获得了更好的性能。
Mar, 2022
机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习(MMUGL)的新方法,用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况,然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较,并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。
Jul, 2023
机器学习在医疗人工智能系统中的应用,从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来,发现了支持多模态数据集成的广泛可用的深度学习架构,尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题,提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战(表示、融合、对齐、翻译和协同学习),并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来,并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。
Nov, 2023
通过提出 MMKGL(Multi-modal Multi-Kernel Graph Learning)来解决多模态图学习的问题,利用该方法提取多模态图中的异质信息,基于 Autism Brain Imaging Data Exchange (ABIDE) 数据集进行评估并识别与自闭症相关的脑区。
Mar, 2023