为减轻医务人员的工作负担并协助诊断过程，我们开发了一个强大的系统，用于检索相似的病例研究。我们提出了一个创新的数据集 BIMCV-R，包含了 8,069 个 3D CT 卷积以及相应的放射学报告，旨在解决当前 3D 医学文本图像检索领域的缺乏可靠评估基准和精心策划的数据集的问题。此外，我们采用了双流网络架构的检索策略 MedFinder，利用大型语言模型的潜能推动医学图像检索领域的发展，这标志着我们朝着开发能够实现文本到图像、图像到文本和关键词检索任务的系统迈出了初步的一步。

Mar, 2024

我们在医学图像检索的上下文中，通过使用 TotalSegmentator 数据集建立了一个基准，以评估和比较预训练模型的嵌入效果，并采用文本匹配启发的后期交互再排序方法，实现了对各种解剖区域的 1.0 检索召回率。

May, 2024

基于大型语言模型 (LLMs)，我们引入了一种新框架，可以高效有效地生成高分辨率 3D 体积的放射学报告，通过使用低分辨率可视化标记作为查询，从高分辨率标记中提取信息，保留了详细的高分辨率信息，在可接受的计算成本下一致超越现有方法，并在基于 3D 高分辨率医学图像生成报告的首个基准中取得了优异成绩。

Jun, 2024

该研究论文通过大规模的三维多模态医学数据集 M3D-Data 和多模态大型语言模型 M3D-LaMed，在各种三维医学任务上实现了先进的医学图像分析方法，并提出了用于自动评估的新的三维多模态医学基准 M3D-Bench。

Mar, 2024

通过高级表示学习和跨模态对齐研究，在图像 - 文本匹配方面取得了显著进展。为了弥补科学领域中目前评估图像 - 文本匹配性能的不足，我们开发了一种专门的科学多模态信息检索（SciMMIR）基准，利用开放获取的论文集提取与科学领域相关的数据，包括从科学文档中提取的详细标题的图表图像对，并对其进行了两级子集 - 子类别层次注释，以便更全面地评估基线模型。我们对重要的多模态图像字幕生成和视觉语言模型（如 CLIP 和 BLIP）进行了零样本和微调评估，分析结果为科学领域的多模态信息检索提供了关键洞察，包括预训练和微调设置的影响以及视觉和文本编码器的影响。所有我们的数据和检查点都可以在该 URL 中公开获取。

Jan, 2024

深度学习模型在 2D-3D 骨形重建方面进行了比较，提出了一个评估框架，并发现基于注意力的方法在各种解剖学和数据集方面表现更好，注意到需要对临床相关参数进行细分报告，同时对肋骨的重建相对于股骨、髋部和脊柱更具挑战性，并不是所有情况下 Dice 分数的提高都能带来相应的临床参数自动估计的改进。

Sep, 2023

综合评估医疗机器学习的基准，提出一种基于医学信息志 (MIMIC-III) 的基准，让我们可以直接比较预测性能，并评估生存率、住院时间、表型和患者恶化任务的进展。我们发现，在这些任务上，尽管社区参与度高，但在过去的三年里，几乎没有真正显著的进展。通过我们的元分析，我们发现，深度递归模型的性能仅在某些任务上优于逻辑回归。最后综合这些结果，提出未来医学机器学习基准所需的理想特性。

Oct, 2020

该研究旨在探索多模态联合嵌入并生成医学影像模态和相关放射学报告，并通过受监督和无监督学习的方式，实现在文档检索任务中的表现，发现只需有限的监督即可获得与完全监督方法类似的结果。

Nov, 2018

通过基于内容的图像检索（CBIR）系统中使用视觉基础模型作为功能强大且多用途的成品特征提取器，我们在包含 160 种病理学的 4 种模式的 160 万个二维放射学图像的综合数据集上进行基准测试，从而确定弱监督模型在性能上超越专门化模型，达到了 0.594 的 P@1，而且无需精调。研究还探讨了在获取病理学和解剖结构方面的挑战，表明准确获取病理学特征更加困难。尽管存在这些挑战，我们的研究强调了基础模型在放射学的 CBIR 中的巨大潜力，提出了向不需要特定调整的多用途医学图像检索系统的转变。

Mar, 2024

提出了一种利用深度卷积神经网络的 CBMIR 系统，该系统在医疗图像分类任务中取得了平均 99.77％的分类准确度和 0.69 的平均平均精度，是用于检索多模态医学图像的最佳方法。

Mar, 2017