Jun, 2023

牙科 CLAIRES: 用于牙科研究的对比语言图像检索搜索

PDF
TL;DR提出了一种基于对比语言图像检索搜索的牙科研究搜索工具，称为 Dental CLAIRES，利用牙周尖周照射 X 光片和相关临床细节来根据文本查询检索最匹配的图像。
dental radiographsclinical informationsearch toolperiapical radiographscontrastive representation learning
发现论文，激发创造
  • 一种面向临床的多层次对比学习方法用于低质量医学图像疾病诊断

    提出了一种临床导向的多级对比学习框架，旨在增强模型提取病变特征和区分病变与低质量因素的能力，从而能够更准确地诊断低质量医学图像的疾病。

    Apr, 2024

  • 通过间隔配对关系建模增强医学视觉语言对比学习

    通过关系增强的对比学习框架（RECLF），我们提出了一种可以模拟匹配间关系的医学图像表示学习方法，该方法利用医学图像报告作为弱监督，并通过图像 - 文本对齐实现。我们的结果表明，通过模拟匹配间关系，我们的 RECLF 方法可以学习到具有更好泛化能力的改进型医学图像表示。

    Jan, 2024

  • RadCLIP：通过对比语言 - 图像预训练增强放射学图像分析

    人工智能与放射学的整合标志着医学诊断的一个转型时代，采用视觉基础模型改进放射学图像分析，引入 RadCLIP 用于优化放射学图像分析，包括创新的三维切片池化机制和多样的放射学图像 - 文本数据集，评估结果显示 RadCLIP 可以有效对齐放射学图像与对应的文本标注，并提供强大的视觉支持。

    Mar, 2024

  • 多模态图像文本匹配改善基于检索的胸部 X 射线报告生成

    本论文介绍了一种新的检索型放射学报告生成模块 Contrastive X-Ray REport Match (X-REM)，其使用语言 - 图像模型计算匹配分数以衡量胸部 X 射线图像和放射学报告的相似性，从而提高基于检索方法的放射学报告的生成效果，优于之前的方法。

    Mar, 2023

  • 针对胸部 X 光检查报告生成的动态图形增强对比学习

    该研究介绍了一种名为 DCL 的知识图动态结构方法，它使用对比学习技术融合了医学报告的特定和通用知识，用于自动生成医学报告，并在 IU-Xray 和 MIMIC-CXR 数据集上实验表明，DCL 优于之前的最先进模型。

    Mar, 2023

  • 基于分段增强对比表示学习的医学报告生成

    通过医学图像分割（SAM）模型实现对器官、异常、骨骼等的分割，利用一种监督对比损失函数缓解数据偏差并提高医学图像报告的质量。实验证明所提模型在 IU X-Ray 公共数据集上表现出的卓越性能。

    Dec, 2023

  • 通过图像图对比预训练学习泛化的医学图像表示

    通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。

    May, 2024

  • 基于自监督学习的病灶检索

    基于内容的图像检索（CBIR）与自我监督学习（SSL）加速临床医生对相似图像的解读，无需手动标注。通过将对比学习 SimCLR 应用于 CBIR，并采用广义平均（GeM）池化和 L2 归一化进行病变类型分类和检索相似图像，结果显示性能有所提升。此外，我们还构建了一个开源的图像分析和检索应用，易于集成，减轻了手动工作量，可能支持临床医生的日常活动。

    Nov, 2023

  • 利用连续提示进行医学影像 - 文本 - 标签联合对比学习

    本文提出了一种基于连续提示的统一图像 - 文本 - 标签对比学习框架，从数据统一性，多样性和假阴性样本等方面解决了医学图像对比学习中的的挑战，并在多个下游任务中展现出了出色的表现。

    Jul, 2023

  • 大型语言模型在专利图像检索中的应用

    在专利审查中，基于图像的检索系统对于识别当前专利图像与现有技术之间的相似性至关重要，以确保专利申请的新颖性和非显而易见性。我们提出了一种基于语言的、分布感知的多模态专利图像特征学习方法，通过集成大型语言模型，丰富专利图像的语义理解，并通过我们提出的分布感知对比损失来提高在代表性类别中的性能。在 DeepPatent2 数据集上进行的大量实验表明，我们提出的方法在基于图像的专利检索方面取得了最先进或可比较的性能，平均准确率提高了 53.3％，前 10 个检索结果的召回率提高了 41.8％，前 10 个检索结果的 MRR 提高了 51.9％。此外，通过深入用户分析，我们探索了我们的模型在帮助专利专业人员进行图像检索方面的作用，凸显了该模型的实际适用性和效果。

    Apr, 2024