基于图卷积的对比学习在医学影像学检查结果归纳中的应用
本文介绍了使用预构建图嵌入模块(图卷积神经网络建模)来辅助放射图像报告生成的方法,该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系,同时提出了用于医学图像报告的新的评估指标,并在公开数据集(IU-RR)上展示了该方法的优异性能。
Feb, 2020
本文提出了一种新颖的自动印象生成方法,其中从发现中构建词图以记录关键词及其关系,然后设计了一个词图引导的总结模型(WGSum)来生成印象。实验结果表明,我们的方法在两个数据集上取得了最先进的结果,这进一步证实了我们的方法的有效性和可行性。
Dec, 2021
本文提出一种基于多头注意力机制和引入一般和特定的医疗知识的放射学报告生成方法,结合放射学影像的视觉特征,可以提高放射学报告的质量,并在公开数据集上进行的实验结果表明,提出的知识增强方法优于最先进的基于图像字幕的方法。
Dec, 2021
本文提出了一种新的解决方案来增强放射学家的结论写作,重点在于,将放射学图像和检查结果组合在一起生成结论,主要包括解剖学增强多模态模型和对比学习模块,经过两个基准数据集的实验证明,该方法显著优于其他自动结论生成模型。
Oct, 2022
该研究介绍了一种名为DCL的知识图动态结构方法,它使用对比学习技术融合了医学报告的特定和通用知识,用于自动生成医学报告,并在IU-Xray和MIMIC-CXR数据集上实验表明,DCL优于之前的最先进模型。
Mar, 2023
提出了ImpressionGPT,利用建立动态上下文的方法,使模型通过语言模型的上下文学习能力获得从现有数据中语义相似的示例的上下文知识,并设计一种迭代优化算法,用于对生成的印象结果进行自动评估和对应的指令提示,从而在不需要额外训练数据或微调语言模型的情况下在MIMIC-CXR和OpenI数据集上实现了最佳性能。
Apr, 2023
病人交接和分诊是医疗保健中的两个基本问题。为了高效地与专科医生沟通并快速决策哪些患者需要最紧急的医疗,医生们经常需要费力地总结复杂的发现。在探索这些挑战的过程中,我们提出了一种模型(1),该模型具有最先进的放射学报告摘要性能,并采用一种新的医疗数据增强方法(2),还对模型的局限性和放射学知识增长进行了分析(3)。此外,我们还为基于MIMIC CXR数据集开发的未来模型提供了数据处理流程。我们最好的模型是一个经过微调的BERT-to-BERT编码器-解码器,具有58.75/100的ROUGE-L F1得分,其表现优于带有更复杂的注意机制的专用检查点。我们在本文中研究了这些方面。
May, 2024
通过医疗图片的图像-图对比学习框架,利用从放射学记录中自动提取的结构化报告知识图形,独特地编码了断开的图形组件,通过关系图卷积网络和transformer注意力机制,在对CheXpert数据集进行实验时,在1%线性评估和少样本情况下表现优于已有的图像-文字对比学习方法,并达到与放射科医生相当的性能;通过利用无标签的配对图像和文本,我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力,这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。
May, 2024
通过提取高质量的事实陈述来改善文本编码器的表示并提高在各种下游任务中的性能,研究文章介绍了一种针对医学领域等专业领域中表征学习的新颖两阶段框架。
Jul, 2024