Rad-ReStruct: 一种结构化放射学报告的新型 VQA 基准和方法
RadEx 是一个端到端框架,包括 15 个软件组件和 10 个工件,用于从放射学报告中进行自动化信息提取,支持医生定义临床领域相关信息和创建报告模板,实现信息提取系统的快速实施与维护。
Jun, 2024
本研究提出了一种基于文本属性的整合方法,包括三个模型:聚焦句模型、周围上下文模型和格式 / 布局模型,采用双向 LSTMs 和句子编码来获取上下文,结合多个特征和报告结构进行自动标注,取得了相对于其他方法来说更好的 97.1% 精度。
Oct, 2020
医学领域中的视觉问答(VQA)面临独特的、跨学科的挑战,结合了计算机视觉、自然语言处理和知识表示等领域。本研究针对这一研究领域的空白,探讨了放射学图像的有效表示和多模态表示的联合学习,超越了现有方法。我们创新性地增强了 SLAKE 数据集,使我们的模型能够回答更多样化的问题,不仅限于放射学或病理学图像的直接内容。我们的模型以较简单的架构实现了 79.55% 的 top-1 准确度,表现与当前最先进的模型相当。这项研究不仅推进了医学 VQA,还在诊断环境中开辟了实用应用的途径。
Jan, 2024
基于大型语言模型 (LLMs),我们引入了一种新框架,可以高效有效地生成高分辨率 3D 体积的放射学报告,通过使用低分辨率可视化标记作为查询,从高分辨率标记中提取信息,保留了详细的高分辨率信息,在可接受的计算成本下一致超越现有方法,并在基于 3D 高分辨率医学图像生成报告的首个基准中取得了优异成绩。
Jun, 2024
通过从图像中提取内容,并将提取的内容转化为与特定放射科医生风格匹配的报告,我们提出了一种用于射线学报告生成的两步方法,该方法利用 RadGraph 和大型语言模型(LLMs)。量化评估结果证明,我们的方法带来了良好的性能。与临床评估员进行的人类评估表明,尽管只使用了几个示例作为背景信息,但 AI 生成的报告与个体放射科医生的风格无法区分。
Oct, 2023
通过提出强调关键语义知识的报告细化方法,本文开发了一种新颖的迭代式视觉 - 语言表示学习框架,从而对原始放射学报告进行细化,突出显示关键信息,并逐渐提取对细粒度分析任务至关重要的关键信息,从而验证了该框架在各种下游医学图像分析任务中的有效性,并展示了其在不同临床应用中的鼓舞人心的潜力。
Jan, 2024
本文介绍了一种用于 CT 图片和报告的视觉基准框架,结合解剖分割和报告结构化技术,能更好地定位出异常,性能比基准模型提高了很大的幅度(66.0% vs 77.8%),相比之前的技术也具有更高的性能。
Dec, 2023
本研究提出一种以 transformers 为基础的细粒度命名实体识别体系结构,用于临床信息提取,通过 fine-tuning 在 ROUGE-1、ROUGE-2、ROUGE-L 和 BLEU 度量指标上的表现优于之前使用的人工神经网络和卷积神经网络模型。
Sep, 2022
该研究提出了 RadBARTsum,一种领域特定的、本体学支持的适应 BART 模型的放射学报告摘要方法。该方法包括两个主要步骤:1)使用一种新颖的实体屏蔽策略在大量放射学报告语料库上重新训练 BART 模型以提高生物医学领域知识学习,2)使用调查结果和背景部分进行模型微调以预测结论部分。实验采用不同的屏蔽策略进行,结果显示使用领域知识屏蔽的重新训练过程在各种设置下均能持续提高性能。该工作为放射学报告摘要提供了一种领域特定生成型语言模型,以及一种利用医学知识实现实体屏蔽语言模型的方法。所提出的方法展示了通过加深对放射学报告的临床知识理解来提高语言模型效率的一个有希望的方向。
Jun, 2024