Aug, 2023

IIHT：基于图像到指示器的分层变压器技术的医疗报告生成

PDF
TL;DR提出了一种适用于医学报告生成的图像到指标的层次变压器（IIHT）框架，包括分类器模块、指标扩展模块和生成器模块，通过从医学图像中提取的特征和图像特征作为辅助信息生成最终报告，该方法在实际情境中可供放射科医生修改疾病指标并整合到指标扩展模块以实现流畅准确的医学报告生成。通过与最先进方法的广泛实验和比较，证明了该方法的出色性能。
automated medical report generationneural machine translationdeep learning methodsimage-to-indicator hierarchical transformermedical report generation
发现论文，激发创造
  • AlignTransformer: 面向医疗报告生成的视觉区域和疾病标签的层次对齐

    该研究提出了一个包含 Align Hierarchical Attention (AHA) 和 Multi-Grained Transformer (MGT) modules 在内的 AlignTransformer 框架，可以用于医疗图像的自动报告生成，实验表明该方法可以解决数据偏差问题，并取得了与现有最佳方法相竞争的结果。

    Mar, 2022

  • 基于记忆驱动的 Transformer 生成放射学报告

    本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。

    Oct, 2020

  • 基于渐进式 Transformer 的放射学报告生成

    提出一个基于课程学习的顺序（即，图像 - 文本 - 文本）生成框架，从而将放射学报告的生成问题分为两步。使用变压器体系结构，将图像以步骤一为全局概念生成，然后进行二次生成，提高了两个基准数据集的最新技术水平。

    Feb, 2021

  • 使用非影像数据为条件的 Transformers 生成放射学报告

    该研究提出了一种新颖的多模态变压器网络，将胸部 X 光片（CXR）图像与相关的患者人口统计信息相结合，合成特定患者的放射学报告，并通过综合得出的语义文本嵌入和医学图像 - derived 视觉特征的变压器编码器 - 解码器网络，以提高报告生成的质量。

    Nov, 2023

  • 基于预训练的视觉 Transformer 的组织病理学图像自动报告生成

    使用一个现有的预训练 Vision Transformer，通过两步过程对全幻灯片图像（WSI）的 4096x4096 大小的补丁进行编码，并将其作为编码器和 LSTM 解码器用于报告生成，我们可以构建一个相当高效和可移植的报告生成机制，考虑到整个高分辨率图像，而不仅仅是补丁。我们还能够使用来自现有强大的预训练分层 Vision Transformer 的表示，在零样本分类和报告生成方面显示其实用性。

    Nov, 2023

  • 关于医学影像报告的自动生成

    研究了医学影像的自动生成报告问题，提出了多任务学习框架、注意力机制和递归神经网络以解决标签预测、异常区域定位和长段落生成等难点问题，并在两个公共数据集上进行了验证。

    Nov, 2017

  • KiUT: 应用知识的 U-Transformer 用于放射学报告生成

    本文提出了一种多模态知识注入的 U-Transformer 模型，用于辅助医学影像报告的自动生成。实验结果表明，该模型在两个广泛使用的基准数据集 IU-Xray 和 MIMIC-CXR 上优于现有技术，并且注入先验知识可以提高模型性能。

    Jun, 2023

  • 使用预训练视觉 Transformer 和 BERT 自动生成组织病理学图像报告

    通过使用预训练的 Vision Transformer 将整个高分辨率图像编码为 4096x4096 大小的补丁，并使用预训练的 BERT 模型进行基于语言建模的解码，我们建立了一个性能良好且可移植的报告生成机制，不仅能生成和评估描述图像的标题，还可以帮助将图像分类为组织类型和患者的性别。

    Dec, 2023

  • 双模态动态回溯学习在医学报告生成中的应用

    借鉴双模态动态回溯学习（DTrace）的报告生成框架在医学报告生成方面克服了捕捉医学意义和基于图像预测掩码文本的困难，且无需在推理时依赖于文本输入。实验表明，DTrace 优于现有的医学报告生成方法。

    Jan, 2024

  • 用生成变换器将自由文本放射学记录重塑为结构化报告

    自由文本放射学报告中提取信息的流程，以及使用自然语言处理和基于 Transformer 的模型填充结构化报告注册表的性能评估和比较。

    Mar, 2024