通过记忆撰写:分层检索驱动医疗报告生成
本研究提出了一种新型的框架,将模板检索和句子生成相结合,以处理普通和罕见异常情况,同时确保检测到的医学术语之间的语义一致性,该方法在两个医学报告基准测试上取得了明显的优势。
Jan, 2021
本研究提出一种新的混合检索 - 生成强化学习代理(HRGR-Agent)算法,以生成与医学图像相对应的结构化、丰富和稳健的报告,同时提高医学术语检测精度和人工评估表现。该算法通过层次决策过程来实现,使用强化学习进行更新。实验结果表明,该算法在医学报告数据集上取得了最先进的结果。
May, 2018
本文提出了一种基于知识推理的、融合传统方法和现代学习方法的医学报告生成方法,将医学报告生成分解为医学异常图形学习和自然语言建模两个部分,通过编码、检索和改写等子模块实现;其中,核心部分是图形变换器,可以实现知识图谱、图像和序列等多个领域的图形化高层语义转换。实验表明,该方法在两项医学报告测试中取得了最佳结果,达到最优医学异常和疾病分类准确性并提高了人工评估性能。
Mar, 2019
研究了医学影像的自动生成报告问题,提出了多任务学习框架、注意力机制和递归神经网络以解决标签预测、异常区域定位和长段落生成等难点问题,并在两个公共数据集上进行了验证。
Nov, 2017
我们介绍了一种针对医学报告生成的主题分离句子检索(Teaser)方法,通过将查询分类为常见和少见类型以学习不同的主题,提出主题对比损失来有效地对齐主题和查询,同时使用抽象器模块在提取视觉特征后帮助主题解码器更深入地理解视觉观察的意图,在 MIMIC-CXR 和 IU X-ray 数据集上的实验证明了 Teaser 超过了现有的模型,同时验证了其有效地表示罕见主题并建立查询和主题之间更可靠的对应关系的能力。
May, 2024
本文提出了使用记忆驱动 Transformer 来生成放射学报告,实验证明该方法可以以更高的质量、更长的长度和更多的医学术语产生放射学报告,此为我们所知第一次在 MIMIC-CXR 上实现放射学报告的生成结果。
Oct, 2020
本研究提出了一种基于文本属性的整合方法,包括三个模型:聚焦句模型、周围上下文模型和格式 / 布局模型,采用双向 LSTMs 和句子编码来获取上下文,结合多个特征和报告结构进行自动标注,取得了相对于其他方法来说更好的 97.1% 精度。
Oct, 2020
临床放射学报告中的错误更正方法研究,利用大型语言模型(LLMs)和检索增强生成(RAG)技术,通过内部和外部检索机制从报告和外部知识源中提取相关医学实体和关系,并引入三阶段推理过程,将任务分解成错误检测、定位和更正子任务,从而提高了系统的可解释性和性能,并通过由领域专家指导的对真实世界放射学报告进行真实错误损坏的基准数据集进行了评估,实验结果表明了所提方法的优势,通过内部和外部检索的结合显著提高了各种最先进的 LLMs 在错误检测、定位和更正方面的准确性,研究结果有助于为临床文档制定更健壮可靠的错误更正系统。
Jun, 2024
本文介绍了使用预构建图嵌入模块(图卷积神经网络建模)来辅助放射图像报告生成的方法,该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系,同时提出了用于医学图像报告的新的评估指标,并在公开数据集(IU-RR)上展示了该方法的优异性能。
Feb, 2020