Jun, 2024
DS@BioMed 在 ImageCLEFmedical Caption 2024 中的研究：通过概念检测集成增强的医学字幕生成中的注意力机制
DS@BioMed at ImageCLEFmedical Caption 2024: Enhanced Attention Mechanisms in Medical Caption Generation through Concept Detection Integration
Nhi Ngoc-Yen Nguyen, Le-Huy Tu, Dieu-Phuong Nguyen, Nhat-Tan Do, Minh Triet Thai...
TL;DR我们的研究提出了一种改进的医学图像描述生成方法，通过将概念检测集成到注意机制中。该方法利用先进模型识别医学图像中关键概念，并将其纳入描述生成过程中。结果表明，我们使用的 Swin-V2 模型在概念检测任务中，在验证集上达到 0.58944 的 F1 分数，在私有测试集上达到 0.61998 的 F1 分数，位列第三。对于描述预测任务，我们的 BEiT+BioBart 模型结合概念集成和后处理技术，在验证集上取得 0.60589 的 BERTScore，私有测试集上取得 0.5794 的 BERTScore，位列第九。这些结果突显了概念感知算法在生成精确和上下文恰当的医学描述方面的有效性。研究结果表明，我们的方法显著提高了医学图像描述的质量，突出了它在改善医学图像解释和文档化，并促进改善医疗结果方面的潜力。