Nov, 2023

面向临床辅助基于成像的生物医学应用的多模态机器学习

PDF
TL;DR机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。
machine learningmedical artificial intelligencemultimodal data integrationmedical image-based clinical decision support modelsclinical models
发现论文，激发创造
  • 医疗保健中多模态机器学习方法综述

    综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

    Feb, 2024

  • 基于人工智能的电子健康记录和影像数据融合方法

    这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

    Oct, 2022

  • 多模态智能：表示学习、信息融合与应用

    本文综述了多模态智能领域中的各种模型和学习方法。主要关注点是视觉和自然语言模态的组合，涵盖了多模态表示学习、多模态信号融合以及多模态应用等方面，旨在为相关社群未来的研究提供参考。

    Nov, 2019

  • 生物医学图像和文本中的多模态深度学习综述

    本综述研究了多模态深度学习（MDL）在医学图像和文本联合学习中的应用及其在医学中的潜在价值，并提出了未来方向和挑战。

    Jul, 2023

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024

  • 多模式协同学习：挑战、数据集应用、最新进展与未来方向

    该研究对于多模态联合学习进行了全面系统的综述，介绍了多种技术和应用，讨论了存在的挑战和未来的研究方向。

    Jul, 2021

  • 多模态机器学习：概述与分类

    多模态机器学习作为一个充满潜力的多学科领域，在不断发展和完善，其普遍的分类包括：表示、翻译、对齐、融合和协同学习。该研究旨在通过共性的分类方式，综合总结目前该领域的研究进展，以期为未来的研究指明方向。

    May, 2017

  • 利用大规模多模态 Transformer 进行医学诊断：利用不同的数据进行更准确的诊断

    提出了新的可学习的协同学习方法，用以解决多模态深度学习模型中所存在的模型复杂性升级问题，以及其应用于医学临床数据处理中所面临的扩展性难题，并在三个多模态数据集上展现了其卓越的表现。

    Dec, 2022

  • 多模态机器学习的基础和趋势：原理、挑战和开放性问题

    本文旨在探讨多模态机器学习的计算与理论基础，定义了三个关键原则和六个核心技术挑战，并提出多个未来研究的开放性问题。

    Sep, 2022

  • 使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

    通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

    May, 2024