Jan, 2024
Prometheus-Vision:以视觉语言模型作为细粒度评估的评判者
Prometheus-Vision: Vision-Language Model as a Judge for Fine-Grained Evaluation
Seongyun Lee, Seungone Kim, Sue Hyun Park, Geewook Kim, Minjoon Seo
TL;DR我们提出了一种用于评估 Vision-Language Models(VLMs)的新方法,使用了一个名为 Perception Collection 的反馈数据集,并通过该数据集训练了一个开源的 VLM 评估模型 Prometheus-Vision,该模型在评估 VLMs 时表现出与人类评估者和 GPT-4V 最高的皮尔逊相关性,显示出其对 VLMs 的透明和可访问性评估的有效性。