本文提出了一个可以考虑到临床精度的全自动胸部X光辐射学报告生成系统，利用计算机视觉和自然语言生成的高级方法来生成可读的报告，重点关注临床领域的细微差别，并通过强化学习来微调该系统。

Apr, 2019

DALL-E 2是一种有前途的生成模型，可用于AI建模领域中的图像生成、增强和操作，但需要进一步调整和适应。作者表明DALL-E 2已经学习到了X射线图像的相关表示，并展示了用于图像生成的零射击文本，延续原始边界图像，或去除元素的应用前景。但该方法应用于CT，MRI和超声图像是有限的，因为它们需要更多专业知识的支撑。

Sep, 2022

通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部X射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在ROUGE-L指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。

Nov, 2023

医疗语言处理和深度学习技术作为改善医疗保健的关键工具，特别是在医学影像和医学文本数据的分析中。本研究介绍了一种新的方法，专门用于评估生成的医学报告与实际情况之间的语义相似度，该方法在领域特定的医学背景下表现出较高的效率。

Feb, 2024

利用多模态大型语言模型、少样本训练提示、视觉定位将影像与电子病历数据结合，该研究提出了MedPromptX模型，用于胸部X射线诊断，有效提高了异常的识别能力。

Mar, 2024

提出了Dia-LLaMA框架，通过引入诊断信息作为指导提示来为CT报告生成适应LLaMA2-7B的方法，通过提取视觉信息来适应高维CT，并通过参考疾病原型记忆库提取额外诊断信息以突出异常性，并引入疾病感知注意力来实现模型对不同疾病的注意力调整。在胸部CT数据集上进行的实验表明，我们提出的方法在临床有效性性能和自然语言生成度量方面表现出超越往方法和达到最先进水平。代码将公开发布。

Mar, 2024

在本文中，我们介绍了MID-M这一创新框架，利用通用领域的大规模语言模型（LLM）的上下文学习能力，通过图像描述来处理多模态数据，其在性能上与任务特定的精调LLMs和其他通用领域的LLMs相当或更为出色，无需广泛域特定训练或多模态数据的预训练，参数更少，突出了利用通用领域LLMs进行领域特定任务的潜力，并为传统LMM发展提供了可持续和经济高效的替代方案。此外，MID-M对于数据质量问题的稳健性证明了其在实际医学领域应用中的实用性。

Apr, 2024

本研究旨在调查利用GPT3.5-turbo（GPT3.5）进行放射学报告的TNM分级的准确性及多语种LLMs在日语和英语中的实用性。通过分析多语言TNM定义对准确性的影响，研究表明提供完整的TNM定义可明显提高放射学报告的分类准确性，且多语种LLMs在放射学领域具有潜在应用价值。

Jun, 2024

通过对CXR图像的对话分析，我们在卫生保健领域中提出了D-Rax，它是一种领域特定的、会话式的、放射学辅助工具，可以为放射科报告提供全面的医学成像见解，帮助准确诊断，通过结合最先进的诊断模型和VLMs的能力，D-Rax赋予临床医生使用自然语言与医学图像交互的能力，有可能简化他们的决策过程，提高诊断准确性，并节省时间。

Jul, 2024

本研究解决了现有X射线医学报告生成方法在提取有效信息和计算复杂性方面的不足。提出了一种上下文引导的高效生成框架，通过从训练集中检索样本以增强特征表示能力，从而生成高质量的医学报告。实验结果表明，该方法在多个数据集上具有显著的性能提升。

Aug, 2024