Oct, 2023

C^2M-DoT: 跨模态一致的多视角医疗报告生成与领域迁移网络

PDF
TL;DR提出了一种具有领域转移网络的跨模态一致的多视角医疗报告生成方法，其中使用语义为基础的多视角对比学习医学报告生成框架来学习病变的语义表示，进一步提出领域转移网络来确保多视角报告生成模型在单视角输入下仍能取得良好的推理性能，同时通过跨模态一致性损失的优化来产生与医学图像语义一致的文本报告。在两个公共基准数据集上进行的大量实验证明了该方法在所有指标上均优于现有方法，并且消融研究也证实了 C^2M-DoT 中每个组件的有效性和必要性。
medical imagesmulti-viewreport generationcross-modal consistencydomain transfer network
发现论文，激发创造
  • MvCo-DoT: 多视角对比领域转移网络用于医学报告生成

    本文提出了一种基于深度强化学习的多视角医学报告生成模型 MvCo-DoT，该模型的核心是多视角对比学习策略和域转换网络，实现了在单视角输入下与多视角输入几乎相同的性能，实验结果表明 MvCo-DoT 在所有指标上均优于最先进的医学报告生成基线模型。

    Apr, 2023

  • 基于 Transformer 的跨模态肿瘤分割的图像级监督和自训练

    我们提出了一种名为 MoDATTS 的新的半监督训练策略，用于处理自动医学图像分割中存在的模态遗传性问题，并通过图像转换和视觉转换器实现更准确的肿瘤分割。该模型在 CrossMoDA 2022 挑战中表现出优越的性能，并在 BraTS 2020 挑战数据集上显示出一致的改进。

    Sep, 2023

  • M3T: 多模态医疗转换器 连接临床背景与视觉洞察 用于视网膜图像医学描述生成

    提出了一种集成视觉表示和诊断关键词的新型深度学习架构 (Multi-Modal Medical Transformer, M3T)，用于眼底图像的生成精确和连贯的医学描述。在 DeepEyeNet 数据集上的实验研究验证了 M3T 在满足眼科医生标准方面的成功，相比最佳基线模型，BLEU@4 有了显著的 13.5% 改进。

    Jun, 2024

  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络 (CMN) 来增强医学影像学中放射学报告自动生成的编码器 - 解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022

  • 跨模态临床图形变换器用于眼科报告生成

    该论文提出了一种用于眼科报告生成的交叉模态临床图变换器（CGT）模型，该模型利用数据驱动的神经网络和临床关系三元组注入到视觉特征中，以提高模型的效果并克服基于通用生物医学知识库的知识注入的局限性。通过自然语言处理，该模型从领域内训练报告中提取临床实体和关系数据，并在编码过程中仅限制可见矩阵的影响，实现了优于之前基准模型的最佳表现。

    Jun, 2022

  • 混合传递网络实现跨模态共同表示学习

    该论文提出了 Cross-modal Hybrid Transfer Network (CHTN)，包含两个子网络：Modal-sharing transfer subnetwork 和 Layer-sharing correlation subnetwork，用于在不同模态之间进行知识迁移和跨模态检索。

    Jun, 2017

  • 双视图课程优化输运用于跨语言跨模态检索

    通过 Dual-view Curricular Optimal Transport（DCOT）在跨语言跨模态检索中学习带有噪声的对应关系，从而解决机器翻译产生的不完美翻译问题，实验证明了该方法的有效性和鲁棒性。

    Sep, 2023

  • MedM2G：通过视觉不变性的交叉引导扩散实现医学多模态生成的统一

    MedM2G 是一个医疗多模态生成框架，通过统一的模型实现医疗多模态对齐、提取和生成，以及在医疗诊断中提升特定医疗信息和灵活的多模态交互，成功完成了文本到图像、图像到文本和医学模态的统一生成任务，并在 10 个数据集上持续领先于各种最先进的方法。

    Mar, 2024

  • 双模态动态回溯学习在医学报告生成中的应用

    借鉴双模态动态回溯学习（DTrace）的报告生成框架在医学报告生成方面克服了捕捉医学意义和基于图像预测掩码文本的困难，且无需在推理时依赖于文本输入。实验表明，DTrace 优于现有的医学报告生成方法。

    Jan, 2024

  • 使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

    通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

    May, 2024