Jan, 2024
MedSumm: 一种多模态方法来对混编印地语-英语临床查询进行摘要
MedSumm: A Multimodal Approach to Summarizing Code-Mixed Hindi-English
Clinical Queries
TL;DR在医疗卫生领域，对患者所提出的医学问题进行概括对于改善医患交流及医疗决策至关重要。然而，当前该领域的研究主要集中在基于文本的方法上，忽视了视觉线索的整合。这项工作在资源匮乏的环境中引入了多模态医学问题概括的任务，针对印度-英语代码混合的医学查询，结合了视觉辅助信息。该整合丰富了患者医疗状况的表达，提供了更全面的视角。我们还提出了一个名为MedSumm的框架，利用语言模型和视觉模型的力量来完成这项任务。通过使用我们的MMCQS数据集，我们展示了利用图像中的视觉信息来改进医学详细摘要的价值。这种多模态策略不仅改善了医疗决策，还促进了对患者问题的更深入理解，为个性化和响应式医疗护理的未来探索铺平了道路。我们的数据集、代码和预训练模型将会公开提供。