本研究通过双向字幕法对放射学报告进行预训练，与对比性训练方法相比，表明字幕法预训练不仅可以产生具有竞争力的视觉编码器，还可以生成具有临床相关性的报告和针对性的交互性输出。

Oct, 2023

本文提出了一种自动生成医疗记录摘要的方法，结合对前胸透视 X 光扫描的分析和来自放射学记录的结构化患者信息，使用 Show-Attend-Tell 和 GPT-3 两种语言模型生成具体和描述性的放射学记录，并在 Open-I、MIMIC-CXR 和 MS-COCO 等医疗数据集上进行测试，结果表明其能够有效地应用于胸部 X 光图像字幕生成和病理定位。

Sep, 2022

诊断字幕自动生成一份诊断性文本，从一个或多个患者的医学图像（如 X 射线、MRI）中。本论文提出了一种新的数据驱动引导解码方法，将医学信息纳入诊断文本生成过程的波束搜索中，并在两个医学数据集上使用四个诊断字幕系统进行评估。在大多数情况下，所提出的机制在所有评估指标上提高了性能。

Jun, 2024

本论文提出了通过域特定预训练和提出改进的 transformer 架构从胸部放射状图像输入生成临床报告的方法，该方法具有标准化、减少错误、节省时间和便于医学访问的优点，同时还使用验证数据集的指标验证了其性能。

May, 2022

本文介绍了利用深度神经网络方法解决 ImageCLEFmed Caption 任务的过程，最终在不使用外部医学知识或预先训练模型的情况下，对 3,534 张放射学图像进行了医学概念的自动标注，得到了 F1 得分 0.375，排名第 12 位。

Jul, 2020

我们的研究提出了一种改进的医学图像描述生成方法，通过将概念检测集成到注意机制中。该方法利用先进模型识别医学图像中关键概念，并将其纳入描述生成过程中。结果表明，我们使用的 Swin-V2 模型在概念检测任务中，在验证集上达到 0.58944 的 F1 分数，在私有测试集上达到 0.61998 的 F1 分数，位列第三。对于描述预测任务，我们的 BEiT+BioBart 模型结合概念集成和后处理技术，在验证集上取得 0.60589 的 BERTScore，私有测试集上取得 0.5794 的 BERTScore，位列第九。这些结果突显了概念感知算法在生成精确和上下文恰当的医学描述方面的有效性。研究结果表明，我们的方法显著提高了医学图像描述的质量，突出了它在改善医学图像解释和文档化，并促进改善医疗结果方面的潜力。

Jun, 2024

我们提出了一个基于 Transformer 的诊断辅助模型，可以以统一的方式处理多模态输入，该模型在辨别肺部疾病方面表现出了比仅使用图像模型和非统一多模态诊断模型更高的识别率，并在 COVID-19 患者的不良临床预后方面表现出了更高的预测能力。

Jun, 2023

本文提出了使用记忆驱动 Transformer 来生成放射学报告，实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告，此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。

Oct, 2020

本文提出了一种基于模板的方法，通过使用多标签图像分类器，变换器模型和 BERT 多标签文本分类器，还有规则系统从放射学图像中生成放射学报告，并在实验中通过 IU Chest X-ray 和 MIMIC-CXR 数据集表现出比现有技术模型更好的性能。

Jun, 2023

该研究提出了一种新颖的多模态变压器网络，将胸部 X 光片（CXR）图像与相关的患者人口统计信息相结合，合成特定患者的放射学报告，并通过综合得出的语义文本嵌入和医学图像 - derived 视觉特征的变压器编码器 - 解码器网络，以提高报告生成的质量。

Nov, 2023