CVPRJun, 2022

跨模态临床图形变换器用于眼科报告生成

PDF
TL;DR该论文提出了一种用于眼科报告生成的交叉模态临床图变换器（CGT）模型，该模型利用数据驱动的神经网络和临床关系三元组注入到视觉特征中，以提高模型的效果并克服基于通用生物医学知识库的知识注入的局限性。通过自然语言处理，该模型从领域内训练报告中提取临床实体和关系数据，并在编码过程中仅限制可见矩阵的影响，实现了优于之前基准模型的最佳表现。
ophthalmic report generationdata-driven neural networksclinical relation triplescross-modal clinical graph transformerknowledge injection
发现论文，激发创造
  • M3T: 多模态医疗转换器 连接临床背景与视觉洞察 用于视网膜图像医学描述生成

    提出了一种集成视觉表示和诊断关键词的新型深度学习架构 (Multi-Modal Medical Transformer, M3T)，用于眼底图像的生成精确和连贯的医学描述。在 DeepEyeNet 数据集上的实验研究验证了 M3T 在满足眼科医生标准方面的成功，相比最佳基线模型，BLEU@4 有了显著的 13.5% 改进。

    Jun, 2024

  • KiUT: 应用知识的 U-Transformer 用于放射学报告生成

    本文提出了一种多模态知识注入的 U-Transformer 模型，用于辅助医学影像报告的自动生成。实验结果表明，该模型在两个广泛使用的基准数据集 IU-Xray 和 MIMIC-CXR 上优于现有技术，并且注入先验知识可以提高模型性能。

    Jun, 2023

  • 基于知识驱动的医学图像报告生成模型：编码、检索、改写

    本文提出了一种基于知识推理的、融合传统方法和现代学习方法的医学报告生成方法，将医学报告生成分解为医学异常图形学习和自然语言建模两个部分，通过编码、检索和改写等子模块实现；其中，核心部分是图形变换器，可以实现知识图谱、图像和序列等多个领域的图形化高层语义转换。实验表明，该方法在两项医学报告测试中取得了最佳结果，达到最优医学异常和疾病分类准确性并提高了人工评估性能。

    Mar, 2019

  • 多模态基于图的转换器框架用于生物医学关系抽取

    本研究介绍了一种使用多模态线索（如分子结构）帮助模型学习实体（蛋白质）的多组学生物信息的新颖框架，以图形为基础的多模态学习机制利用 GraphBERT 模型编码了文本和分子结构信息，并利用不同模态的基础特征进行端到端的学习。在生物医学领域的蛋白质相互作用任务中，我们的提出的广义方法发现受到了领域特定模态的额外获益。

    Jul, 2021

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 跨模态记忆网络用于放射学报告生成

    本文提出了一种跨模式记忆网络 (CMN) 来增强医学影像学中放射学报告自动生成的编码器 - 解码器框架，实验结果表明该模型能够更好地对齐放射图像和文本信息，具有更高的临床指标准确性。

    Apr, 2022

  • 放射报告生成的强化视觉引导网络

    通过提出具有全局密集注意力（GIA）模块的医学图像编码器和可视化知识引导解码器（VKGD），我们的研究旨在解决自动放射学报告生成中的多视角推理和多模态信息处理的问题，实现更准确的报告生成。在实验中，我们的方法在 IU X-Ray 和 MIMIC-CXR 两个常用数据集上展现出比其他最先进方法更优越的能力。

    Feb, 2024

  • 增强的知识注入用于放射学报告生成

    通过利用加权概念知识分支和多模态检索知识分支提取不同类型的知识，将其与当前图像整合，以达到更准确的报告生成，并通过在两个公共基准上进行的广泛实验验证了方法的高性能和两种提取知识源的有效性。

    Nov, 2023

  • 基于记忆驱动的 Transformer 生成放射学报告

    本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。

    Oct, 2020

  • 使用非影像数据为条件的 Transformers 生成放射学报告

    该研究提出了一种新颖的多模态变压器网络，将胸部 X 光片（CXR）图像与相关的患者人口统计信息相结合，合成特定患者的放射学报告，并通过综合得出的语义文本嵌入和医学图像 - derived 视觉特征的变压器编码器 - 解码器网络，以提高报告生成的质量。

    Nov, 2023