Dec, 2023

对 3D CT 图像的整个放射学报告的视觉定位

PDF
TL;DR本文介绍了一种用于 CT 图片和报告的视觉基准框架，结合解剖分割和报告结构化技术，能更好地定位出异常，性能比基准模型提高了很大的幅度（66.0% vs 77.8%），相比之前的技术也具有更高的性能。
medical image recognition systemsvisual grounding techniquesradiology reportsanatomical segmentationreport structuring
发现论文，激发创造
  • MedRG: 多模态大型语言模型的医学报告联系

    通过引入一个新的框架 MedRG，该研究利用多模态大型语言模型预测关键短语，并结合视觉编码器 - 解码器生成相应的边界框，该方法在医学短语定位任务上的表现优于现有最先进技术。

    Apr, 2024

  • 放射学报告生成的自适应全局 - 局部特征增强

    本文提出了一个新的框架 AGFNet，通过动态融合全局和解剖区域特征来生成多粒度放射学报告，该方法可以充分利用放射学图像和文本的多粒度信息，从而帮助生成更精准的报告。

    Nov, 2022

  • 解剖结构导向的医学视觉语言预训练

    通过视觉语言预训练学习医学视觉表示已取得显著进展，本研究提出了一种以解剖结构为指导的框架（ASG），以解决局部对齐的可解释性和临床相关性不足，以及图像 - 报告对的内外表示学习不足的问题。通过自动解剖句子对齐，并将发现和存在视为图像标签，该方法在五个公共基准数据集上展示出优于现有方法的实验结果。

    Mar, 2024

  • 像放射科医师一样阅读放射学影像

    提出了一种利用疾病定向检索框架以及事实一致性字幕生成器解决医学图像报告自动生成中的疾病区域强调、视觉和文本数据偏见、长文本生成等难题的方法。

    Jul, 2023

  • 交互式及可解释的区域引导放射学报告生成

    本研究提出了一种基于区域引导的报告生成模型，该模型能够检测解剖区域并生成具有人类可读性和可解释性的报告，通过额外的交互能力和更高的透明度和可解释性，扩展了新的临床应用案例。实验结果表明，该方法在报告生成方面具有非常出色的性能，并在交互性能方面表现突出。

    Apr, 2023

  • 自动构建放射学报告的集成方法

    本研究提出了一种基于文本属性的整合方法，包括三个模型：聚焦句模型、周围上下文模型和格式 / 布局模型，采用双向 LSTMs 和句子编码来获取上下文，结合多个特征和报告结构进行自动标注，取得了相对于其他方法来说更好的 97.1% 精度。

    Oct, 2020

  • CT2Rep: 三维医学成像的自动化放射学报告生成

    通过引入一种基于先进 3D 视觉编码器和自回归因果变换器的新型方法，借助交叉注意力多模式融合模块和分层记忆，我们首次提出了一种用于生成三维医学影像尤其是胸部 CT 体素的放射学报告的方法，并证明了其有效性。

    Mar, 2024

  • RadGenome-Chest CT：用于胸部 CT 分析的基于视觉和语言的数据集

    通过开源医学图像数据集、基于最新的通用分割和大型语言模型，我们介绍了 RadGenome-Chest CT，这是一个全面的、大规模的、基于 CT-RATE 的区域导向的 3D 胸部 CT 解读数据集，推动了多模态医学基础模型的发展。

    Apr, 2024

  • 强化视觉 - 语言基础模型：关键语义知识强调的报告优化

    通过提出强调关键语义知识的报告细化方法，本文开发了一种新颖的迭代式视觉 - 语言表示学习框架，从而对原始放射学报告进行细化，突出显示关键信息，并逐渐提取对细粒度分析任务至关重要的关键信息，从而验证了该框架在各种下游医学图像分析任务中的有效性，并展示了其在不同临床应用中的鼓舞人心的潜力。

    Jan, 2024

  • 关于医学影像报告的自动生成

    研究了医学影像的自动生成报告问题，提出了多任务学习框架、注意力机制和递归神经网络以解决标签预测、异常区域定位和长段落生成等难点问题，并在两个公共数据集上进行了验证。

    Nov, 2017