Jan, 2024

CheX-GPT：利用大型语言模型增强胸部X射线报告标注

HTML
PDF
TL;DR通过使用设计精心的提示，我们展示了GPT作为熟练标注器的潜力。利用只有GPT标记的数据，我们训练了基于BERT的标注器CheX-GPT，其操作速度更快、更高效。为了评估标注器的性能，我们引入了一个公开可用的专家标注测试集MIMIC-500，包含来自MIMIC验证集的500个案例。我们的研究结果证明了CheX-GPT不仅在标注准确性上优于现有模型，而且在效率、灵活性和可扩展性方面也表现出色，得益于我们引入的MIMIC-500数据集进行强大的基准测试。代码和模型可以在此链接找到。
发现论文，激发创造
  • 临床准确的胸部X光报告生成

    本文提出了一个可以考虑到临床精度的全自动胸部X光辐射学报告生成系统，利用计算机视觉和自然语言生成的高级方法来生成可读的报告，重点关注临床领域的细微差别，并通过强化学习来微调该系统。

    Apr, 2019

  • CheXbert: 利用BERT结合自动标注器和专家注释实现准确放射学报告标注

    本文介绍了一种基于BERT的医学图像报告标注方法，利用了可用规则系统的规模和专家注释的质量，经过预训练和微调得到的CheXbert模型，在胸透数据集上表现优异，超过了以往最好的规则系统，成为该领域最先进技术。

    Apr, 2020

  • VisualCheXbert：解决放射学报告标签和图像标签之间的差异

    使用 BERT 模型直接从放射学报告映射到图像标签的方法，优于现有的医学报告标签方法，与放射科医生标注的胸部 X 光图像的平均 F1 分数为0.12至0.21。

    Feb, 2021

  • 德国CheXpert胸部X光放射学报告标签制造机

    本研究旨在开发一种算法，用于自动从德国胸腔放射学报告中提取用于X光分类模型注释的标签，并基于CheXpert架构设计了一个自动标注提取模型，并创建了一个基于Web的注释界面以进行迭代改进，结果表明，自动标签提取能够减少手动标注的时间并提高整体建模性能。与手动标记数据相比，使用自动提取标签训练的模型表现出了很高的竞争力，并且强大地优于使用公开数据训练的模型。

    Jun, 2023

  • 使用深度学习自动标记德语胸部 X 光放射学报告

    本研究探索了使用基于规则的标签机器人进行弱监督的深度学习标签预测模型的潜力，并提出了一种深度学习的 CheXpert 标签预测模型，该模型在基于规则的德国 CheXpert 模型标记的报告上进行了预训练，并在少量手动标记的报告数据集上进行了微调。结果表明，本方法的有效性显著优于基于规则的模型，并强调了即使在稀疏数据场景下，采用深度学习模型的好处和规则标记器作为弱监督工具的用处。

    Jun, 2023

  • XrayGPT: 医学视觉语言模型用于胸部X光摘要

    本研究介绍了 XrayGPT，一种新型的会话式医疗视觉-语言模型，可以分析并回答关于胸部 X 光片的开放式问题。通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，我们的模型能够具备出色的视觉会话能力，从而深入理解放射学和医学领域的知识。

    Jun, 2023

  • 开源软件到位了吗？一项关于商业和开源LLM在标注胸部X光报告能力方面的对比研究

    本文展示了尽管 GPT-4 在零样本报告分类方面优于开源模型，但在实现少样本提示的情况下，开源模型与 GPT-4 相当。这表明对于放射学报告分类任务，开源模型可以成为具备高性能和隐私保护的选择替代GPT-4。

    Feb, 2024

  • 利用隐私保护的大型语言模型和多类型标注增强胸部 X 光数据集：提高分类的数据驱动方法

    使用MAPLEZ方法，使用基于规则的系统从CXR报告中提取和增强发现标签，包括存在性、位置、严重程度以及放射科医生对发现的不确定性，并在分类监督中取得了显著的模型质量提升

    Mar, 2024

  • 提取和编码：利用大型语言模型和医学知识增强放射学文本表示

    通过提取高质量的事实陈述来改善文本编码器的表示并提高在各种下游任务中的性能，研究文章介绍了一种针对医学领域等专业领域中表征学习的新颖两阶段框架。

    Jul, 2024

  • CXR-Agent: 胸部X光解读的视觉语言模型及具备不确定性认知的放射学报告

    通过对Chest X-ray照片的解释和生成自然语言描述，结合高级推理，评估可用于医学报告生成的视觉-语言模型的性能，发现这些模型往往会产生具有自信的语言，从而导致临床解释的减慢。因此，我们开发了一种基于Agent的视觉-语言方法，使用线性探测和短语锚定工具生成基于不确定性的放射学报告，准确定位和描述病理学。通过开发评估平台进行用户研究，结合自然语言处理指标、Chest X-ray基准和呼吸专家的临床评估，我们的结果显示出在AI生成报告的准确性、解释性和安全性方面的相当大的改进。同时，强调需要更大规模的配对(照片和报告)数据集以及数据扩增来解决这些大型视觉-语言模型中的过拟合问题。

    Jul, 2024