Jan, 2024
PeFoMed: 多模态大语言模型的参数高效微调在医学视觉问答中的应用
PeFoMed: Parameter Efficient Fine-tuning on Multimodal Large Language Models for Medical Visual Question Answering
Jinlong He, Pengfei Li, Gang Liu, Zixu Zhao, Shenjun Zhong
TL;DR这篇论文提出了一个参数高效的框架,专门用于调整针对 Med-VQA 应用的多模式大型语言模型,并通过公共基准数据集进行了实证验证,结果显示我们的模型在封闭问题上的整体准确率达到了 81.9%,并且在准确率上超过 GPT-4v 模型 26%的显著优势。