使用预训练嵌入进行医学图像检索
我们在医学图像检索的上下文中,通过使用 TotalSegmentator 数据集建立了一个基准,以评估和比较预训练模型的嵌入效果,并采用文本匹配启发的后期交互再排序方法,实现了对各种解剖区域的 1.0 检索召回率。
May, 2024
医学成像中的近似和重复图像检测是一个关键关注点。本文介绍了一种利用公开可用的 2D 计算机视觉嵌入来识别 3D 医学图像的方法。通过对比从两种先进的自监督预训练模型提取的嵌入和两种不同的向量索引结构来评估我们的方法。我们基于公开可用的 Medical Segmentation Decathlon 数据集生成了一个实验基准。所提出的方法在近似和重复图像检测方面取得了有希望的结果,分别达到了 0.9645 和 0.8559 的平均敏感性和特异性。
Dec, 2023
使用大规模多模态医疗数据集,本文提出了一种新的 cui2vec 医疗概念词嵌入模型,并通过统计功率法进行了评估,结果表明该模型在大多数情况下相对于之前的方法具有最先进的性能。
Apr, 2018
提出了一种利用深度卷积神经网络的 CBMIR 系统,该系统在医疗图像分类任务中取得了平均 99.77%的分类准确度和 0.69 的平均平均精度,是用于检索多模态医学图像的最佳方法。
Mar, 2017
使用向量嵌入从单模态基础模型和多模态视觉语言模型来进行低资源环境下的多模态深度学习,特别是在医疗领域中。将这些方法与传统方法进行比较,评估它们对计算效率和模型性能的影响,使用精度、F1 分数、推理时间、训练时间和内存使用等指标。结论表明,嵌入降低了计算需求而不影响模型性能,我们提出的对齐方法提高了医疗任务的性能。通过优化受限环境中的资源,此研究促进了可持续的人工智能实践,并突显了基于嵌入的方法在高效多模态学习中的潜力,提升了人工智能在各种用例中的适应性。
Jun, 2024
本研究提出了一种专门针对企业环境进行微调的预训练嵌入模型的方法,通过使嵌入模型更适合企业中普遍存在的检索任务,旨在提高信息检索解决方案的性能,研究结果表明微调嵌入模型在改善企业环境下搜索结果的精确性和相关性方面是有效的。
May, 2024
通过自动创建的大规模医学术语相似性数据集,我们证实了当代嵌入向量对于医疗术语的语义相似性表达受到限制,并提出了具有挑战性的新的基准数据集,以便开发能够准确表示整个医学术语的医学嵌入向量。
Mar, 2020
本文探讨了使用不同的资源如临床笔记、生物医学出版物、维基百科和新闻训练的词嵌入,经过定性和定量评估后发现,基于临床笔记和生物医学出版物训练的词嵌入能更好地捕捉医学术语的语义,更接近于专家的判断,但是,无法为所有下游生物医学 NLP 任务提供一致的全局排名,只能将它们作为额外特征来提高大多数下游任务的结果。
Feb, 2018
该研究旨在探索多模态联合嵌入并生成医学影像模态和相关放射学报告,并通过受监督和无监督学习的方式,实现在文档检索任务中的表现,发现只需有限的监督即可获得与完全监督方法类似的结果。
Nov, 2018