Jul, 2020

基于放射学的神经结构搜索的多模态信息融合

PDF
TL;DR本研究提出一种多模态神经架构搜索（MM-NAS）方法，用于自动得出较优的多模态图像特征，以生成 radiomics 并避免依赖手动过程。在公共 PET-CT 数据集中验证结果表明，相较于最先进的 radiomics 方法，我们的多模态神经架构搜索方法在软组织肉瘤中的预测可靠度更高。
radiomicsquantitative featuresmulti-modality neural architecture search methodpet-ctsoft-tissue sarcoma
发现论文，激发创造
  • 基于多模态卷积神经网络的医学图像分割：图像融合方案研究

    本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

    Oct, 2017

  • 医疗数据的多模态融合架构启用缺失模态

    本研究旨在开发一种对医疗数据具有鲁棒性的高效多模态融合架构，并进一步提高疾病诊断的性能。实验证明，我们提出的多模态融合架构有效地融合了三种模态并对缺失模态表现出较强的鲁棒性。该方法有望扩展到更多模态以增强模型的临床实用性。

    Sep, 2023

  • MultiFusionNet：多层次多模态深度神经网络的胸部 X 光图像分类

    通过利用卷积神经网络，提出了一种基于多层多模态融合模型的新型深度学习疾病检测模型，能够从不同层次提取特征并融合它们，在胸部 X 射线图像的疾病分类中取得了高达 97.21% 和 99.60% 的显著准确率，具有准确的疾病分类潜力，并可推广至其他胸部 X 射线图像中的疾病分类。

    Jan, 2024

  • 基于多模态数据的深度学习辅助放射学报告生成调研

    通过深度学习方法，欧州央行会公布最新的 Automatic radiology report generation 的方法，并且总结了该领域内多模态数据获取、数据融合等关键技术的发展，并为进一步研究提供了详尽的信息。

    May, 2024

  • 头颈部肿瘤失败风险的放射组学评估策略

    使用随机森林和重采样技术使用 1615 个影像学特征对头颈癌患者进行放疗风险估计，证明放射学对特定肿瘤结局的风险评估具有重要的临床作用。

    Mar, 2017

  • 基于放射组学的多模态自注意力网络用于预测乳腺 MRI 的病理完全缓解

    利用动态对比增强磁共振成像 (DCE MRI) 和表观弥散系数 (ADC) 图，本研究提出了一种模型来预测乳腺癌患者的病理完全缓解 (pCR)，利用深度学习和放射组学特征提取，相较于其他基准方法，我们的模型在预测 pCR 方面表现出优越性能。

    Jun, 2024

  • 超越图像：胸部 X 光片报告生成的综合多模态方法

    通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

    Nov, 2023

  • 多模电子健康记录的自动融合提升医疗预测能力

    我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

    Jan, 2024

  • 通过投影网络对具有异构维度的数据进行深度多模态融合

    本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

    Feb, 2024

  • 用于从 sMRI 和 PET 扫描早期诊断阿尔茨海默病的多模态图神经网络

    采用深度学习模型结合多模态数据进行阿尔茨海默病的早期诊断，通过图神经网络框架将结构和功能融合，提高诊断效果。

    Jul, 2023