Jun, 2024
明辨视界,难答问题:基于多模态鲁棒性的机器学习语言模型评估
Seeing Clearly, Answering Incorrectly: A Multimodal Robustness Benchmark for Evaluating MLLMs on Leading Questions
Yexin Liu, Zhengyang Liang, Yueze Wang, Muyang He, Jian Li...
TL;DR通过提出一个多模态鲁棒性评估基准以及一个训练集,我们发现多模态大型语言模型在理解视觉内容方面存在脆弱性,而这种脆弱性可以通过在新的训练集上进行微调来显著增强。