Mar, 2024

基于基础模型的放射学内容医学图像检索应用

PDF
TL;DR通过基于内容的图像检索（CBIR）系统中使用视觉基础模型作为功能强大且多用途的成品特征提取器，我们在包含 160 种病理学的 4 种模式的 160 万个二维放射学图像的综合数据集上进行基准测试，从而确定弱监督模型在性能上超越专门化模型，达到了 0.594 的 P@1，而且无需精调。研究还探讨了在获取病理学和解剖结构方面的挑战，表明准确获取病理学特征更加困难。尽管存在这些挑战，我们的研究强调了基础模型在放射学的 CBIR 中的巨大潜力，提出了向不需要特定调整的多用途医学图像检索系统的转变。
发现论文，激发创造
  • 多类体积放射学影像的基于内容的图像检索：基准研究

    我们在医学图像检索的上下文中，通过使用 TotalSegmentator 数据集建立了一个基准，以评估和比较预训练模型的嵌入效果，并采用文本匹配启发的后期交互再排序方法，实现了对各种解剖区域的 1.0 检索召回率。

    May, 2024

  • 医学影像学中的基础模型：综合调查与未来视野

    通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

    Oct, 2023

  • 基于基础模型的医学图像分析的挑战和展望

    本文讨论了大规模预训练模型，即基础模型，用于分析医学图像的机遇、应用和未来方向。具体而言，我们说明了医学基础模型的 “光谱”，从一般的视觉模型、模态特异性模型到器官 / 任务特异性模型，强调它们的挑战、机会和应用，以此来提高医学图像分析的准确性和效率，从而促进更加精确的诊断和治疗决策。

    Jun, 2023

  • 数字病理学中的基础模型与信息检索

    该论文综述了数字病理学中基础模型、LLM、生成式人工智能、信息检索和基于内容的图像检索的最新技术

    Mar, 2024

  • 全球联合内容检索医学影像库检索

    该论文提出了一种利用联邦学习解决获取多样化医学数据集的挑战的联邦基于内容的医学图像检索平台（FedCBMIR），可加速乳腺癌诊断，并在 BreaKHis 和 Camelyon17（CAM17）进行了两个实验的评估，证明其快速准确，可在全球范围内帮助乳腺癌诊断。

    May, 2023

  • 面向放射学的通用基础模型

    本研究旨在构建放射学基础模型（RadFM），通过数据、模型设计和评估的多方面视角构建基础模型。我们的贡献包括：（一）构建一个大规模的医疗多模态数据集 MedMD，包含 1600 万份 2D 和 3D 医学扫描，这是首个包含 3D 医学扫描的多模态数据集。（二）提出了一种架构，实现可视化条件生成预训练，允许将文本输入与 2D 或 3D 医学扫描相结合，以生成多样化的放射学任务响应。模型首先在 MedMD 上进行预训练，然后在 RadMD 上进行领域特定的微调，RadMD 是 MedMD 的一种经过放射学清理的版本，包含 300 万份放射学视觉语言对。（三）我们提出了一个全面评估基础模型在处理实际临床问题方面能力的新评估基准，包括五个任务。实验结果证实，RadFM 明显优于现有的多模态基础模型。为促进该领域的进一步研究和发展，我们将公开提供代码、数据和模型检查点。

    Aug, 2023

  • 基於內容的圖像檢索的進展：關聯反饋技術的全面調查

    内容检索 (CBIR) 系统在计算机视觉领域成为关键工具，通过基于视觉内容而非仅依赖元数据进行图像搜索。本综述论文全面介绍了 CBIR，并强调了其在目标检测方面的作用，以及基于内容特征识别和检索视觉相似图像的潜力。文章探讨了 CBIR 系统面临的挑战，包括语义差距和可扩展性，并提出了潜在的解决方案。重点阐述了语义差距，即低级特征和高级语义概念之间的差异，并探索了弥合该差距的方法。值得注意的解决方案之一是集成相关反馈 (RF)，使用户能够对检索到的图像提供反馈并迭代地改进搜索结果。综述涵盖了长期和短期学习方法，利用 RF 提高 CBIR 的准确性和相关性。这些方法侧重于权重优化和利用主动学习算法选择样本进行分类器训练。此外，本论文还研究了机器学习技术以及利用深度学习和卷积神经网络提高 CBIR 性能的方法。该综述论文在推进 CBIR 和 RF 技术的理解方面发挥着重要作用。它指导研究人员和从业者理解现有的方法、挑战和潜在的解决方案，促进知识传播和确定研究空白。通过讨论未来的研究方向，为增强 CBIR 在各个应用领域的检索准确性、可用性和效果奠定了基础。

    Dec, 2023

  • 基于卷积神经网络和 Radon 变换的快速医学图像检索生成二进制标签

    本研究提出了一种采用卷积神经网络和 Radon 条形码的医学图像检索方法，结果表明其在医疗图像中检索方面的表现优于其他已发表的方法。

    Apr, 2016

  • 使用深度卷积神经网络进行医学图像检索

    提出了一种利用深度卷积神经网络的 CBMIR 系统，该系统在医疗图像分类任务中取得了平均 99.77％的分类准确度和 0.69 的平均平均精度，是用于检索多模态医学图像的最佳方法。

    Mar, 2017

  • 强化视觉 - 语言基础模型：关键语义知识强调的报告优化

    通过提出强调关键语义知识的报告细化方法，本文开发了一种新颖的迭代式视觉 - 语言表示学习框架，从而对原始放射学报告进行细化，突出显示关键信息，并逐渐提取对细粒度分析任务至关重要的关键信息，从而验证了该框架在各种下游医学图像分析任务中的有效性，并展示了其在不同临床应用中的鼓舞人心的潜力。

    Jan, 2024