Oct, 2024

推进医学放射图像表示学习：一种具有多层语义粒度的混合预训练范式

HTML
PDF
TL;DR本文关注于医学放射图像表示学习中的难点，提出了一种混合预训练框架HybridMED，旨在将全球视觉表示与图像的印象部分以及图像的发现部分的视觉表示进行对齐。通过实验，发现该框架有效地提高了模型性能，同时避免了参数的显著增加，展示了知识蒸馏在提升训练过程中的重要作用。
发现论文，激发创造
  • 基于图卷积的对比学习在医学影像学检查结果归纳中的应用

    提出一种基于Encoder-Decoder框架且同时利用附加知识和原始结果的方法，利用图神经网络处理视频关系信息，采用对比学习方法强化关键词在结果中的表述，以提高放射学报告印象部分的准确性。

    Apr, 2022

  • 医学语义辅助变压器模型用于放射学报告生成

    本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在MIMIC-CXR及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。

    Aug, 2022

  • 医学视觉语言理解和生成的多模型预训练：新基准的实证研究

    通过提出一个高质量的医学放射照片数据集(RadioGraphy Captions)，本文对医学领域的视觉 - 语言(VL) 预训练(VLP) 进行了深入的实验分析，得出了一些指导未来医学VL任务研究和新的强基准的关键结论。

    Jun, 2023

  • XrayGPT: 医学视觉语言模型用于胸部X光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉-语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023

  • 利用合成数据进行医学视觉-语言预训练：绕开真实图像的需求

    利用合成图像从真实医学报告中生成的医学影像，可以有效地实现医学视觉与语言预训练(VLP)，并且在图像分类、语义分割和目标检测等任务上，利用合成数据的性能与真实数据相当甚至超过。

    Oct, 2023

  • 临床准确且可解释的双向字幕模型

    本研究通过双向字幕法对放射学报告进行预训练，与对比性训练方法相比，表明字幕法预训练不仅可以产生具有竞争力的视觉编码器，还可以生成具有临床相关性的报告和针对性的交互性输出。

    Oct, 2023

  • G2D：全球到密集射线学习的视觉-语言预训练

    该论文提出了一种名为G2D的新型VLP框架，通过伪分割任务与全局视觉语言对齐相结合，学习得到密集且语义化的图片表示，以在6个医学成像任务和25种疾病中取得明显改进的性能，尤其在细粒度的语义分割任务中，甚至在只使用1%的训练数据进行微调时，也能超过同类模型的性能。

    Dec, 2023

  • 强化视觉-语言基础模型：关键语义知识强调的报告优化

    通过提出强调关键语义知识的报告细化方法，本文开发了一种新颖的迭代式视觉-语言表示学习框架，从而对原始放射学报告进行细化，突出显示关键信息，并逐渐提取对细粒度分析任务至关重要的关键信息，从而验证了该框架在各种下游医学图像分析任务中的有效性，并展示了其在不同临床应用中的鼓舞人心的潜力。

    Jan, 2024

  • 放射报告生成的强化视觉引导网络

    通过提出具有全局密集注意力（GIA）模块的医学图像编码器和可视化知识引导解码器（VKGD），我们的研究旨在解决自动放射学报告生成中的多视角推理和多模态信息处理的问题，实现更准确的报告生成。在实验中，我们的方法在IU X-Ray和MIMIC-CXR两个常用数据集上展现出比其他最先进方法更优越的能力。

    Feb, 2024

  • SERPENT-VLM：利用视觉语言模型自我生成精化放射学报告

    尽管现有方法经常会在基于文本的报告中凭空想象细节，而不能准确反映图像内容，但《Radiology Report Generation（R2Gen）》展示了多模态大型语言模型（MLLMs）如何自动化生成准确和连贯的放射学报告。为了缓解这个问题，我们引入了一种新颖的策略SERPENT-VLM，将自我完善的机制集成到MLLM框架中，通过利用生成的放射学文本的上下文表示和汇总图像表示之间的相似性，在标准因果语言建模目标的基础上采用独特的自监督损失来完善图像-文本表示，从而使模型能够通过给定图像和生成文本之间的动态交互来审视和对齐生成的文本，从而减少幻觉并持续增强细微的报告生成能力。SERPENT-VLM在IU X-ray和Radiology Objects in COntext（ROCO）数据集上优于现有的基线方法，如LLaVA-Med、BiomedGPT等，并且证明在嘈杂的图像环境中具有稳健性。定性案例研究强调了MLLM框架在R2Gen中向更复杂方向发展的重要进展，为医学成像领域的自监督完善研究打开了新的研究路径。

    Apr, 2024