Oct, 2023
啄木鸟:多模态大语言模型的幻觉校正
Woodpecker: Hallucination Correction for Multimodal Large Language Models
Shukang Yin, Chaoyou Fu, Sirui Zhao, Tong Xu, Hao Wang...
TL;DR通过引入一种名为 Woodpecker 的免训练方法,该论文主要针对快速发展的多模态大型语言模型(MLLMs)中存在的幻觉问题,并通过提取关键概念、问题构建、视觉知识验证、视觉声明生成和幻觉修正等五个阶段来纠正幻觉。通过定量和定性评估,证明了这种新范式的巨大潜力。