- 针对医疗报告生成的主题可分离句子检索
我们介绍了一种针对医学报告生成的主题分离句子检索(Teaser)方法,通过将查询分类为常见和少见类型以学习不同的主题,提出主题对比损失来有效地对齐主题和查询,同时使用抽象器模块在提取视觉特征后帮助主题解码器更深入地理解视觉观察的意图,在 M - 使用预训练的 LLM 生成结构化胸部 X 射线报告的提示引导方法
用预训练的大型语言模型进行指导的方法可以生成基于解剖学和临床提示的结构化胸部 X 射线报告,以实现医疗报告的自动化生成和临床的交互性。
- Dia-LLaMA: 面向大型语言模型驱动的 CT 报告生成
提出了 Dia-LLaMA 框架,通过引入诊断信息作为指导提示来为 CT 报告生成适应 LLaMA2-7B 的方法,通过提取视觉信息来适应高维 CT,并通过参考疾病原型记忆库提取额外诊断信息以突出异常性,并引入疾病感知注意力来实现模型对不同 - 医疗报告生成和视觉问答的视觉语言模型综述
医学视觉语言模型结合了计算机视觉和自然语言处理,用于分析视觉和文本式医学数据。我们的论文回顾了最近在开发医学领域专用的视觉语言模型方面的进展,重点关注医学报告生成和视觉问答模型。我们提供了自然语言处理和计算机视觉的背景,解释了如何将两个领域 - 双模态动态回溯学习在医学报告生成中的应用
借鉴双模态动态回溯学习(DTrace)的报告生成框架在医学报告生成方面克服了捕捉医学意义和基于图像预测掩码文本的困难,且无需在推理时依赖于文本输入。实验表明,DTrace 优于现有的医学报告生成方法。
- 在视觉 - 语言基础模型中改进医疗报告生成的适配器调优与知识增强
医疗报告生成需要自动创建连贯准确的医学图像描述。本研究基于最先进的视觉语言预训练和微调方法 BLIP-2,利用适配器调优和医学知识增强损失,显著提高了模型的准确性和连贯性。在 ImageCLEFmedical 2023 的数据集上验证,我们 - 复杂器官掩模引导的放射学报告生成
通过多种器官的掩码,结合疾病的先验知识,提供更详细的信息并引导模型关注这些重要的身体部位,以实现自动报告生成。
- IIHT:基于图像到指示器的分层变压器技术的医疗报告生成
提出了一种适用于医学报告生成的图像到指标的层次变压器(IIHT)框架,包括分类器模块、指标扩展模块和生成器模块,通过从医学图像中提取的特征和图像特征作为辅助信息生成最终报告,该方法在实际情境中可供放射科医生修改疾病指标并整合到指标扩展模块以 - 重新思考医学报告生成:利用知识图谱增强疾病揭示
利用知识图谱在医学报告生成中的作用,基于胸部 X 光成像建立了一种包含 137 种疾病和异常的全面知识图谱,提出了一种新的增强策略和两阶段生成框架,以减少疾病分布的长尾问题。
- 针对医学报告生成的通用基础模型的定制
该研究提出了将通用的预训练神经网络模型应用于医学报告生成的方法,并表明对图像的特定编码和一定的参数训练是实现最优结果的关键。
- 注入比较先验知识的放射学报告生成增强
本文提出了一种新的方法,通过使用标签机从医学报告中提取比较先前的信息,并将该先前信息整合到基于 Transformer 的模型中,从而更加真实和全面地生成医学报告。该方法测试表明效果优于之前的最先进模型,提供了一个有前景的方向来弥补医学报告 - MvCo-DoT: 多视角对比领域转移网络用于医学报告生成
本文提出了一种基于深度强化学习的多视角医学报告生成模型 MvCo-DoT,该模型的核心是多视角对比学习策略和域转换网络,实现了在单视角输入下与多视角输入几乎相同的性能,实验结果表明 MvCo-DoT 在所有指标上均优于最先进的医学报告生成基 - CVPR针对胸部 X 光检查报告生成的动态图形增强对比学习
该研究介绍了一种名为 DCL 的知识图动态结构方法,它使用对比学习技术融合了医学报告的特定和通用知识,用于自动生成医学报告,并在 IU-Xray 和 MIMIC-CXR 数据集上实验表明,DCL 优于之前的最先进模型。
- 基于 M-Linear 注意力和重复惩罚的混合加强医疗报告生成
本文提出了一种基于深度学习和增强学习的医学报告自动生成方法,使用了卷积神经网络、循环神经网络以及注意力机制等技术,并采用了多目标优化和重复惩罚等方法来提高生成文本的质量。实验结果表明,该方法在公共数据集上的性能优于现有技术。
- ACL面向医疗报告生成的基于能力的多模态课程学习
该研究针对医学图像生成任务的特殊性,提出了基于能力的多模态课程学习框架(CMCL),并在公开数据集上进行了实验,证明该框架可用于改善数据偏差和提高现有模型的性能。
- 放射学报告生成的自我导向框架
该研究提出了一种自我指导的框架,它采用无监督和监督深度学习方法,模仿人类学习和写作的过程,成功地提高了医学报告的生成准确性和长度,并获得了比当前最先进方法更好的性能。
- AlignTransformer: 面向医疗报告生成的视觉区域和疾病标签的层次对齐
该研究提出了一个包含 Align Hierarchical Attention (AHA) 和 Multi-Grained Transformer (MGT) modules 在内的 AlignTransformer 框架,可以用于医疗图像 - 无监督医学报告生成的知识图谱自动编码
提出了一种基于知识图谱自编码器(KGAE)的无监督学习模型,实现医学图像和文本信息自动关联。在医学报告生成中,KGAE 的性能达到目前同类模型的最高水平。
- ACL通过记忆撰写:分层检索驱动医疗报告生成
MedWriter 利用新型层次检索机制自动提取临床准确的医学报告,包括报告和句子级模板,以生成有意义的医学报告。通过 Open-I 和 MIMIC-CXR 的自动评估和人工评估验证了模型的有效性。
- 医疗报告生成的辅助信号引导知识编码器 - 解码器
该论文提出了一种基于图像特征和医疗语言信息的 Auxiliary Signal-Guided Knowledge Encoder-Decoder (ASGK) 模型,用于解决医学报告生成中的一些问题,并在 CX-CHR 数据集和 COVID