临床准确且可解释的双向字幕模型

Oct, 2023

临床准确且可解释的双向字幕模型

Bidirectional Captioning for Clinically Accurate and Interpretable Models

Keegan Quigley, Miriam Cha, Josh Barua, Geeticka Chauhan, Seth Berkowitz...

TL;DR本研究通过双向字幕法对放射学报告进行预训练，与对比性训练方法相比，表明字幕法预训练不仅可以产生具有竞争力的视觉编码器，还可以生成具有临床相关性的报告和针对性的交互性输出。

Abstract

vision-language pretraining has been shown to produce high-quality visual encoders which transfer efficiently to downstream computer vision tasks. While generative language models have gained widespread attention, image

vision-language pretraining image captioning cross-modal pretraining radiology reports transformer decoder

发现论文，激发创造

在 ImageCLEF 医学描述 2024 中的 UIT-DarkCow 团队：使用 Transformer 模型进行放射影像的诊断性描述提高效率

本篇研究旨在利用自动化文本生成技术从放射学图像中提取诊断说明，以辅助医疗专业人员减少临床错误并提高工作效率，目的是提供既能够增强报告质量和效率的工具，也能够对临床实践和生物医学领域的深度学习研究产生重大影响的方法。

May, 2024

图像字幕生成器也是可扩展的视觉学习者

本文通过仔细匹配训练数据、计算和模型容量，公平地比较了对比预训练和图像字幕等两种预训练策略，并发现仅采用图像字幕训练也很有效，既可以产生与对比预训练编码器竞争的视觉编码器，也可以在视觉和语言任务上超越它们。

Jun, 2023

修改 Transformer 结构理解用于胸部放射诊断报告生成的迁移学习

本论文提出了通过域特定预训练和提出改进的 transformer 架构从胸部放射状图像输入生成临床报告的方法，该方法具有标准化、减少错误、节省时间和便于医学访问的优点，同时还使用验证数据集的指标验证了其性能。

May, 2022

医学视觉语言理解和生成的多模型预训练：新基准的实证研究

通过提出一个高质量的医学放射照片数据集 (RadioGraphy Captions)，本文对医学领域的视觉 - 语言 (VL) 预训练 (VLP) 进行了深入的实验分析，得出了一些指导未来医学 VL 任务研究和新的强基准的关键结论。

Jun, 2023

利用视觉 - 语言预训练实现医学图像和文本的多模态理解与生成

本文提出了一种名为 MedViLL 的多模态自然语言处理模型，基于 BERT，使用一种新颖的多模态注意力掩码机制，通过在医学领域内的广泛一系列的多模态表现学习任务，包括影像报告分类、影像报告检索、影像问题回答和放射学报告生成，进行了统计和严格的评估，证明了 MedViLL 在各种基线上的优越性能表现，尤其是在三个影像报告数据集（MIMIC-CXR、Open-I 和 VQA-RAD）上的实现。

May, 2021

大规模双向训练的零样本图像描述

本文介绍了一种名为 BITTERS 的零 - shot 图像描述框架及数据集评估方法，通过双向图像文本训练以及精细调整提高图像描述精度。

Nov, 2022

基于生成预训练变压器的医学图像描述

本文提出了一种自动生成医疗记录摘要的方法，结合对前胸透视 X 光扫描的分析和来自放射学记录的结构化患者信息，使用 Show-Attend-Tell 和 GPT-3 两种语言模型生成具体和描述性的放射学记录，并在 Open-I、MIMIC-CXR 和 MS-COCO 等医疗数据集上进行测试，结果表明其能够有效地应用于胸部 X 光图像字幕生成和病理定位。

Sep, 2022

RoentGen: 胸部 X 光图像生成的视觉语言基础模型

本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

Nov, 2022

融合模型用于改进视觉字幕生成

本文提出了一个通用的多模态模型融合框架，以及将预训练的辅助语言模型 (AuxLM) 和掩码语言模型 (MLM) 进行多模态融合，以改进生成的图像描述的质量和纠正其语法和语义错误。在三个基准数据集上的实验结果显示出了明显的改进。

Oct, 2020

通过图像图对比预训练学习泛化的医学图像表示

通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

May, 2024