Mar, 2024
大型视觉语言模型中评估和缓解数字幻觉:一种一致性视角
Evaluating and Mitigating Number Hallucinations in Large Vision-Language Models: A Consistency Perspective
Huixuan Zhang, Junzhe Zhang, Xiaojun Wan
TL;DR通过建立数据集和使用评估指标,我们发现大规模视觉语言模型中存在数量幻觉的普遍问题,并从内部和外部一致性问题的角度进行了深入分析。我们提出了一种一致性训练方法来减轻这种幻觉,与直接微调方法相比,其平均改善了 8%。