May, 2024

针对医疗报告生成的主题可分离句子检索

PDF
TL;DR我们介绍了一种针对医学报告生成的主题分离句子检索（Teaser）方法，通过将查询分类为常见和少见类型以学习不同的主题，提出主题对比损失来有效地对齐主题和查询，同时使用抽象器模块在提取视觉特征后帮助主题解码器更深入地理解视觉观察的意图，在 MIMIC-CXR 和 IU X-ray 数据集上的实验证明了 Teaser 超过了现有的模型，同时验证了其有效地表示罕见主题并建立查询和主题之间更可靠的对应关系的能力。
automated radiology reportingretrieval-based report generation methodstopicwise separable sentence retrievaltopic contrastive lossmedical report generation
发现论文，激发创造
  • 医学图像报告组成的关系句子生成和检索统一

    本研究提出了一种新型的框架，将模板检索和句子生成相结合，以处理普通和罕见异常情况，同时确保检测到的医学术语之间的语义一致性，该方法在两个医学报告基准测试上取得了明显的优势。

    Jan, 2021

  • 通过记忆撰写：分层检索驱动医疗报告生成

    MedWriter 利用新型层次检索机制自动提取临床准确的医学报告，包括报告和句子级模板，以生成有意义的医学报告。通过 Open-I 和 MIMIC-CXR 的自动评估和人工评估验证了模型的有效性。

    May, 2021

  • 胸部 X 光报告生成的弱监督对比学习

    本篇论文提出了一种弱监督的对比损失方法，用于提高放射学报告生成的文本质量，实验结果表明该方法在两个公共基准数据集上在临床正确性和文本生成指标方面优于以前的工作。

    Sep, 2021

  • 增强的知识注入用于放射学报告生成

    通过利用加权概念知识分支和多模态检索知识分支提取不同类型的知识，将其与当前图像整合，以达到更准确的报告生成，并通过在两个公共基准上进行的广泛实验验证了方法的高性能和两种提取知识源的有效性。

    Nov, 2023

  • 基于病变引导的可解释少样本弱监督医疗报告生成

    提出了一种病变引导的可解释性小样本医学报告生成框架，该框架通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性，从而生成未在训练中观察到的疾病的报告。

    Nov, 2022

  • 学习视觉语义嵌入用于报道胸部 X 光上的异常发现

    该论文提出了一种基于交叉模态检索的自动医学图像报告生成方法，该方法可以从报告中识别异常发现，并将它们与无监督聚类和最小规则分组，通过使用提出的有条件构建的视觉 - 语义嵌入进行图像和小粒度异常发现对齐，其能够更好地检索异常发现并在临床正确性和文本生成度量方面优于现有的生成模型。

    Oct, 2020

  • 知识至上：具有通用和特定知识的放射学报告生成

    本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法，结合放射学影像的视觉特征，可以提高放射学报告的质量，并在公开数据集上进行的实验结果表明，提出的知识增强方法优于最先进的基于图像字幕的方法。

    Dec, 2021

  • 基于知识驱动的医学图像报告生成模型：编码、检索、改写

    本文提出了一种基于知识推理的、融合传统方法和现代学习方法的医学报告生成方法，将医学报告生成分解为医学异常图形学习和自然语言建模两个部分，通过编码、检索和改写等子模块实现；其中，核心部分是图形变换器，可以实现知识图谱、图像和序列等多个领域的图形化高层语义转换。实验表明，该方法在两项医学报告测试中取得了最佳结果，达到最优医学异常和疾病分类准确性并提高了人工评估性能。

    Mar, 2019

  • 多模态图像文本匹配改善基于检索的胸部 X 射线报告生成

    本论文介绍了一种新的检索型放射学报告生成模块 Contrastive X-Ray REport Match (X-REM)，其使用语言 - 图像模型计算匹配分数以衡量胸部 X 射线图像和放射学报告的相似性，从而提高基于检索方法的放射学报告的生成效果，优于之前的方法。

    Mar, 2023

  • 医学语义辅助变压器模型用于放射学报告生成

    本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在 MIMIC-CXR 及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。

    Aug, 2022