Mar, 2019

跨模态数据编程实现快速医学机器学习

PDF
TL;DR该研究提出了一种跨模态数据编程策略，包括自然语言处理技术，用于医学机器学习模型的训练标签生成，通过仅几小时的临床医师工作即可匹配或超越医师数月手动标注的效果，为医学机器学习模型的构建提供了更快、更灵活的方法。
medical machine learningnatural language processingtraining labelscross-modal data programmingunsupervised generative modeling
发现论文，激发创造
  • 多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

    本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

    Jan, 2022

  • 数据编程：快速创建大规模训练集

    为解决有限数据训练集的问题，本研究提出一种名为 Data Programming 的范式，通过弱监督策略和领域启发式标注函数生成训练集，以生成模型表示训练集的标注过程并降噪，探讨数据编程在监督学习中的应用及在 TAC-KBP 数据集上的检测等实验与研究。

    May, 2016

  • 利用大规模多模态 Transformer 进行医学诊断：利用不同的数据进行更准确的诊断

    提出了新的可学习的协同学习方法，用以解决多模态深度学习模型中所存在的模型复杂性升级问题，以及其应用于医学临床数据处理中所面临的扩展性难题，并在三个多模态数据集上展现了其卓越的表现。

    Dec, 2022

  • 生物医学图像和文本中的多模态深度学习综述

    本综述研究了多模态深度学习（MDL）在医学图像和文本联合学习中的应用及其在医学中的潜在价值，并提出了未来方向和挑战。

    Jul, 2023

  • 面向临床辅助基于成像的生物医学应用的多模态机器学习

    机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。

    Nov, 2023

  • 医疗保健中多模态机器学习方法综述

    综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

    Feb, 2024

  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络 (CMN) 来增强医学影像学中放射学报告自动生成的编码器 - 解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022

  • 迭代数据编程扩展文本分类语料库

    该研究采用数据编程方法，使用基于邻域的弱模型来扩充文本数据集，并通过迭代的过程从大量未标记的数据中鉴别出稀疏分布的例子，并以人为中心确认这些标记数据的过程中，不断改进新的弱模型。研究结果表明，该方法可以显著提高文本分类任务的准确性。

    Feb, 2020

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • MedPrompt：跨模态提示多任务医学影像翻译

    跨模态医学图像翻译是合成临床诊断中缺失模态数据的必要任务。本研究提出了 MedPrompt，一种多任务框架，可以高效地翻译不同模态。通过引入自适应提示块、提示提取块和提示融合块，我们能够有效地编码跨模态提示。通过集成 Transformer 模型，增强了对不同模态间全局特征的提取，实验结果表明我们提出的模型在视觉质量和泛化能力方面达到了最先进水平。

    Oct, 2023