- 对 ChatGPT 自我修正在放射学报告简化中进行的双重人工评估
本研究探讨大型语言模型在自动生成适合患者的放射学报告简化方面的适用性,研究结果表明自我纠正提示能够产生高质量的简化报告,为放射科医生和一般人对于文本简化的喜好提供了启示,对未来的研究有指导意义。
- 大型语言模型在总结放射学报告印象方面的现状
研究了 8 种大型语言模型对放射学报告印象进行总结的能力,使用 CT、PET-CT 和超声波报告构建零、一、三次扫描提示,并定义了五项人工评价指标以评估印象的语义,结果显示大型语言模型在完整性和正确性方面表现较好,但简洁性和真实性评分不高, - 绿色:生成性放射学报告评估和错误标注
介绍了一种名为 GREEN(生成式放射学报告评估和错误标注)的放射学报告生成度量方法,利用语言模型的自然语言理解能力定量和定性地识别和解释候选报告中的临床显著错误,该方法不仅与专家错误计数具有更高的相关性,而且与专家偏好更加一致。
- CopilotCAD: 医学图像基础模型,为放射科医生提供报告完成模型和定量证据
通过整合大型语言模型和医学图像分析,本研究介绍了一种协同辅助系统,赋予放射科医生更多权力,以提高放射诊断报告的准确性和详细性,同时减少临床医生的过劳。
- LLM-RadJudge:X 光报告生成实现放射科医师级评估
使用大型语言模型对医学成像报告进行评估的一项新颖评估框架,通过与放射科医生评估结果的对比,提出了一种性能接近 GPT-4 的度量标准。为了降低成本并提高可访问性,利用语言模型评估结果构建数据集,进行了知识蒸馏以训练较小的模型,该模型的评估能 - 基于记忆的跨模态语义对齐网络用于放射学报告生成
提出了一种基于记忆的跨模态语义对齐模型(MCSAM),它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示,以及检索和使用检索到的记忆进行特征整合的先验知识,同时通过交叉模态语义对齐模块(SAM)生成语义视觉特征嵌入,有助于报告生成; - COLING基于 BERT 语言模型的标注医学影像报告和信息提取结果的新语料库
介绍了一个包含 609 个注释放射学报告的语料库,用于医学影像诊断,利用两种基于 BERT 的架构,提取事件信息和规范化概念,为二次应用提供结构化的语义表示。
- 用生成变换器将自由文本放射学记录重塑为结构化报告
自由文本放射学报告中提取信息的流程,以及使用自然语言处理和基于 Transformer 的模型填充结构化报告注册表的性能评估和比较。
- CT2Rep: 三维医学成像的自动化放射学报告生成
通过引入一种基于先进 3D 视觉编码器和自回归因果变换器的新型方法,借助交叉注意力多模式融合模块和分层记忆,我们首次提出了一种用于生成三维医学影像尤其是胸部 CT 体素的放射学报告的方法,并证明了其有效性。
- 比较之前的推理:领域专业文本分析的 LLM 增强语义相似性度量
利用 LLM 增强语义分析以及为文本开发相似度度量标准,解决了传统无监督 NLP 度量标准如 ROUGE 和 BLEU 的局限性。我们开发了一个框架,利用类似 GPT-4 的 LLMs 进行零样本文本识别和标签生成并为放射学报告进行度量,然 - 将 ChatGPT 集成到安全医院网络:以改进放射学报告分析为案例研究
通过对比学习的独特句级知识蒸馏方法,本研究首次在医院内将类似 ChatGPT 的基于云的 AI 模型转化为安全模型,用于分析放射学报告并优先考虑患者数据隐私。我们实现了超过 95% 的异常检测准确率,并可以准确标记预测的不确定性,提高了医生 - 强化视觉 - 语言基础模型:关键语义知识强调的报告优化
通过提出强调关键语义知识的报告细化方法,本文开发了一种新颖的迭代式视觉 - 语言表示学习框架,从而对原始放射学报告进行细化,突出显示关键信息,并逐渐提取对细粒度分析任务至关重要的关键信息,从而验证了该框架在各种下游医学图像分析任务中的有效性 - 通过临床报告的情感分类评估牙齿和口腔问题的严重程度
通过对放射科报告中的情感分析,开发了基于卷积神经网络和长短时记忆网络结构的深度学习模型,用于检测患者情况的严重程度,结果表明该模型在估计口腔和牙科疾病的严重程度方面表现最佳。
- AAAI利用凝视进行对比学习以促进计算机辅助诊断
通过眼动追踪作为替代文本报告的方法,我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理,从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练(McGIP)作为对比度学习框架的即 - 对 3D CT 图像的整个放射学报告的视觉定位
本文介绍了一种用于 CT 图片和报告的视觉基准框架,结合解剖分割和报告结构化技术,能更好地定位出异常,性能比基准模型提高了很大的幅度(66.0% vs 77.8%),相比之前的技术也具有更高的性能。
- 有效微调以提升大型多模态放射学报告生成模型
利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中,我们提出了一个简单而有效的两阶段微调方案,通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进 - RaDialog:大规模的视觉语言模型用于放射学报告生成与对话辅助
RaDialog 是一个用于放射学报告生成和交互对话的大型视觉语言模型,通过有效集成视觉图像特征和结构化病理结果,并使用参数高效的微调方法,实现了最先进的临床正确性,以及在纠正报告和回答问题等互动任务方面展现出惊人的能力,为临床对话系统打下 - 临床医生与放射学报告生成模型之间的共识、不一致性和协同效应
放射学报告是现代医学的重要组成部分,自动化报告生成和 AI 生成的报告对放射学家和临床决策具有潜在的帮助,但面临着质量评估和医生参与的挑战。本研究展示了放射科医生与 AI 系统进行合作的潜力以及 AI 生成报告与专家撰写报告的比较结果。
- 实用放射学报告生成
当胸部 X 光片上未发现肺炎时,报告是否应该描述这个否定观察结果还是省略?我们提出这个问题不能仅仅从 X 光片来回答,而是需要从沟通角度出发,从放射科医生与患者之间的沟通目的来解答。为了考虑这个沟通角度,我们演示了指示因素对否定观察的影响, - 增强的知识注入用于放射学报告生成
通过利用加权概念知识分支和多模态检索知识分支提取不同类型的知识,将其与当前图像整合,以达到更准确的报告生成,并通过在两个公共基准上进行的广泛实验验证了方法的高性能和两种提取知识源的有效性。