医学图像报告组成的关系句子生成和检索统一
研究了医学影像的自动生成报告问题,提出了多任务学习框架、注意力机制和递归神经网络以解决标签预测、异常区域定位和长段落生成等难点问题,并在两个公共数据集上进行了验证。
Nov, 2017
本研究提出一种新的混合检索-生成强化学习代理(HRGR-Agent)算法,以生成与医学图像相对应的结构化、丰富和稳健的报告,同时提高医学术语检测精度和人工评估表现。该算法通过层次决策过程来实现,使用强化学习进行更新。实验结果表明,该算法在医学报告数据集上取得了最先进的结果。
May, 2018
本文提出了一种基于知识推理的、融合传统方法和现代学习方法的医学报告生成方法,将医学报告生成分解为医学异常图形学习和自然语言建模两个部分,通过编码、检索和改写等子模块实现;其中,核心部分是图形变换器,可以实现知识图谱、图像和序列等多个领域的图形化高层语义转换。实验表明,该方法在两项医学报告测试中取得了最佳结果,达到最优医学异常和疾病分类准确性并提高了人工评估性能。
Mar, 2019
该论文提出了一种基于交叉模态检索的自动医学图像报告生成方法,该方法可以从报告中识别异常发现,并将它们与无监督聚类和最小规则分组,通过使用提出的有条件构建的视觉-语义嵌入进行图像和小粒度异常发现对齐,其能够更好地检索异常发现并在临床正确性和文本生成度量方面优于现有的生成模型。
Oct, 2020
MedWriter利用新型层次检索机制自动提取临床准确的医学报告,包括报告和句子级模板,以生成有意义的医学报告。通过Open-I和MIMIC-CXR的自动评估和人工评估验证了模型的有效性。
May, 2021
该研究提出了一种自我指导的框架,它采用无监督和监督深度学习方法,模仿人类学习和写作的过程,成功地提高了医学报告的生成准确性和长度,并获得了比当前最先进方法更好的性能。
Jun, 2022
医疗语言处理和深度学习技术作为改善医疗保健的关键工具,特别是在医学影像和医学文本数据的分析中。本研究介绍了一种新的方法,专门用于评估生成的医学报告与实际情况之间的语义相似度,该方法在领域特定的医学背景下表现出较高的效率。
Feb, 2024
我们介绍了一种针对医学报告生成的主题分离句子检索(Teaser)方法,通过将查询分类为常见和少见类型以学习不同的主题,提出主题对比损失来有效地对齐主题和查询,同时使用抽象器模块在提取视觉特征后帮助主题解码器更深入地理解视觉观察的意图,在MIMIC-CXR和IU X-ray数据集上的实验证明了Teaser超过了现有的模型,同时验证了其有效地表示罕见主题并建立查询和主题之间更可靠的对应关系的能力。
May, 2024
本研究解决了脑CT报告生成中视觉与文本病理特征一致性的问题,尤其是冗余视觉表示和语义转移困难。通过引入病理线索驱动的表示学习模型(PCRL),构建跨模态表示并有效生成报告。实验结果表明,该方法超越了前人,并达到了最先进的性能。
Sep, 2024