ACLJun, 2024

基于数据驱动的诊断字幕引导解码机制

PDF
TL;DR诊断字幕自动生成一份诊断性文本，从一个或多个患者的医学图像（如 X 射线、MRI）中。本论文提出了一种新的数据驱动引导解码方法，将医学信息纳入诊断文本生成过程的波束搜索中，并在两个医学数据集上使用四个诊断字幕系统进行评估。在大多数情况下，所提出的机制在所有评估指标上提高了性能。
diagnostic captioningmedical imagesdiagnostic textdata-driven guided decodingpre-trained large language models
发现论文，激发创造
  • 在 ImageCLEF 医学描述 2024 中的 UIT-DarkCow 团队：使用 Transformer 模型进行放射影像的诊断性描述提高效率

    本篇研究旨在利用自动化文本生成技术从放射学图像中提取诊断说明，以辅助医疗专业人员减少临床错误并提高工作效率，目的是提供既能够增强报告质量和效率的工具，也能够对临床实践和生物医学领域的深度学习研究产生重大影响的方法。

    May, 2024

  • 医疗报告生成的辅助信号引导知识编码器 - 解码器

    该论文提出了一种基于图像特征和医疗语言信息的 Auxiliary Signal-Guided Knowledge Encoder-Decoder (ASGK) 模型，用于解决医学报告生成中的一些问题，并在 CX-CHR 数据集和 COVID-19 CT 报告数据集上取得了良好效果。

    Jun, 2020

  • 生物医学图像字幕化调查

    本文首次回顾讨论了医学图像字幕生成中的数据集、评估措施和现有技术，并提出了两种基准测试方法，其中强方法在一个数据集上的表现超出了所有现有技术系统。

    May, 2019

  • MedDr: 诊断引导下的大规模医学视觉语言学习

    利用诊断指导的引导策略和图像与标签信息，构建视觉 - 语言数据集，从而开发了一个通用的医疗基础模型 MedDr，能够处理多样化的医疗数据模态，包括放射学、病理学、皮肤科、眼底摄影和内窥镜检查，并提出了一种简单而有效的检索增强医学诊断策略，提高了模型的泛化能力，广泛的实验验证了我们方法的优越性。

    Apr, 2024

  • 基于生成预训练变压器的医学图像描述

    本文提出了一种自动生成医疗记录摘要的方法，结合对前胸透视 X 光扫描的分析和来自放射学记录的结构化患者信息，使用 Show-Attend-Tell 和 GPT-3 两种语言模型生成具体和描述性的放射学记录，并在 Open-I、MIMIC-CXR 和 MS-COCO 等医疗数据集上进行测试，结果表明其能够有效地应用于胸部 X 光图像字幕生成和病理定位。

    Sep, 2022

  • 基于 Sam 引导的增强细粒度混合语义学习的医学图像字幕生成

    本文介绍了一种由 SAM 模型引导的新型医学图像字幕方法，以实现对医学图像的总体信息和细节进行增强编码，通过混合语义学习的独特预训练策略，同时捕捉医学图像的整体信息和细微细节，并证明了该方法在生成医学图像描述方面在各种评估指标上优于预训练的 BLIP2 模型。

    Nov, 2023

  • 双模态动态回溯学习在医学报告生成中的应用

    借鉴双模态动态回溯学习（DTrace）的报告生成框架在医学报告生成方面克服了捕捉医学意义和基于图像预测掩码文本的困难，且无需在推理时依赖于文本输入。实验表明，DTrace 优于现有的医学报告生成方法。

    Jan, 2024

  • 利用联合自监督学习的医学视觉问答

    本研究提出一种编码器 - 解码器框架，利用自注意机制跨图像文本双模态表示，并通过自监督多任务学习在大规模医学图像字幕数据集上进行预训练，并在小规模医学 VQA 数据集上进行微调，取得了比基线和 SOTA 方法更好的性能。

    Feb, 2023

  • ChatGPT 智能诊断开启医学影像潜能

    提出一个基于深度学习和 ChatGPT 的决策支持系统来辅助医疗保健机构和病人进行诊断、治疗和管理健康情况。该系统包含三个阶段：数据收集和标注，模型训练和诊断报告生成，可以提高决策能力，降低成本和提高医疗机构的能力，通过大量的实验得出自动诊断通过医疗图像具有良好的性能。

    May, 2023

  • 临床准确且可解释的双向字幕模型

    本研究通过双向字幕法对放射学报告进行预训练，与对比性训练方法相比，表明字幕法预训练不仅可以产生具有竞争力的视觉编码器，还可以生成具有临床相关性的报告和针对性的交互性输出。

    Oct, 2023