CVPRMar, 2023

针对胸部 X 光检查报告生成的动态图形增强对比学习

PDF
TL;DR该研究介绍了一种名为 DCL 的知识图动态结构方法，它使用对比学习技术融合了医学报告的特定和通用知识，用于自动生成医学报告，并在 IU-Xray 和 MIMIC-CXR 数据集上实验表明，DCL 优于之前的最先进模型。
automatic radiology reportingmedical knowledge graphsdynamic structurecontrastive learningmedical report generation
发现论文，激发创造
  • 通过图像图对比预训练学习泛化的医学图像表示

    通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

    May, 2024

  • 当放射学报告生成遇见知识图谱

    本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

    Feb, 2020

  • 胸部 X 光报告生成的弱监督对比学习

    本篇论文提出了一种弱监督的对比损失方法，用于提高放射学报告生成的文本质量，实验结果表明该方法在两个公共基准数据集上在临床正确性和文本生成指标方面优于以前的工作。

    Sep, 2021

  • 胸部 X 光报告生成的动态多领域知识网络

    通过构建一个具有四个模块（Chest Feature Extractor、Dynamic Knowledge Extractor、Specific Knowledge Extractor 和 Multi-knowledge Integrator）的 Dynamic Multi-Domain Knowledge 网络，本研究旨在解决自动化生成放射学诊断报告的视觉和文本数据偏倚问题，实验结果表明该方法在评估指标上表现优于先前的技术模型。

    Oct, 2023

  • 基于图卷积的对比学习在医学影像学检查结果归纳中的应用

    提出一种基于 Encoder-Decoder 框架且同时利用附加知识和原始结果的方法，利用图神经网络处理视频关系信息，采用对比学习方法强化关键词在结果中的表述，以提高放射学报告印象部分的准确性。

    Apr, 2022

  • 重新思考医学报告生成：利用知识图谱增强疾病揭示

    利用知识图谱在医学报告生成中的作用，基于胸部 X 光成像建立了一种包含 137 种疾病和异常的全面知识图谱，提出了一种新的增强策略和两阶段生成框架，以减少疾病分布的长尾问题。

    Jul, 2023

  • 基于分段增强对比表示学习的医学报告生成

    通过医学图像分割（SAM）模型实现对器官、异常、骨骼等的分割，利用一种监督对比损失函数缓解数据偏差并提高医学图像报告的质量。实验证明所提模型在 IU X-Ray 公共数据集上表现出的卓越性能。

    Dec, 2023

  • 通过语义奖励提高放射科报告生成的事实正确性

    通过使用 RadGraph 奖励提出了一种基于胸透领域实体和实体关系的新方法，以进一步提高放射学报告的实际完成和正确性，该方法显着改善了放射学报告生成效果。

    Oct, 2022

  • 医疗关系预测的基于节点的知识图对比学习

    本文提出了一种基于节点的对比学习方法 NC-KGE，通过在知识图谱上构建适当的对比节点对来提升嵌入和加速训练收敛，并通过加入关系感知注意机制对生物医药关系预测任务进行了改进，实验证明 NC-KGE 在公共数据集和生物医药数据集上具有竞争力并且在预测药物组合关系方面优于其他模型。

    Oct, 2023

  • 面向医疗报告生成的基于能力的多模态课程学习

    该研究针对医学图像生成任务的特殊性，提出了基于能力的多模态课程学习框架（CMCL），并在公开数据集上进行了实验，证明该框架可用于改善数据偏差和提高现有模型的性能。

    Jun, 2022