本文提出了两个基于语言模型的可解释/可解释的视觉编程框架，用于文本到图像的生成和评估。其中，VPGen将T2I生成拆分成三个步骤，使用LM控制前两个步骤，并提供更强的空间控制；VPEval是一个解释性和可解释性评估框架，基于视觉编程，能够提供针对技能特定和开放性提示的人类相关性评估。

May, 2023

分阶段训练方法和生成vokens提高大型语言模型在视觉和语言生成方面的效果。

Oct, 2023

这项工作研究了一项名为开放域交错图像-文本生成的挑战性任务，该任务根据输入查询生成交错的文本和图像。我们提出了一种新的基于大型语言模型（LLMs）和预训练的文本到图像模型（T2I）的交错生成框架，即OpenLEAF。在OpenLEAF中，LLM生成文本描述，协调T2I模型，创建用于生成图像的视觉提示，并将全局上下文融入到T2I模型中。这种全局上下文提高了交错生成中图像的实体和风格的一致性。我们首先提出使用大型多模态模型（LMMs）来评估开放域交错图像-文本序列的实体和风格的一致性。根据LMM在我们构建的评估集上的评估，所提出的交错生成框架可以为各种领域和应用生成高质量的图像-文本内容，例如如何问答、叙事、图形故事改写以及网页/海报生成任务。此外，我们通过人类评估验证了所提出的LMM评估技术的有效性。我们希望我们提出的框架、基准和LMM评估能够帮助建立有趣的交错图像-文本生成任务。

Oct, 2023

我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对23个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

Nov, 2023

该研究旨在通过引入MileBench基准来系统评估多模态大型语言模型（MLLMs）在长上下文和多图像任务中的适应能力，并发现开源MLLMs在长上下文情境中面临着挑战，尤其在涉及多图像的情景下。

Apr, 2024

对多模态大语言模型进行了全面评估，介绍了一种用于长上下文能力评估的基准测试方法，包括多图像输入和图像拼接，以加大输入上下文长度，并开发了一个自动生成子图像级标签的协议。通过基于文本指令和图像内容描述，对MLLMs在长上下文图像输入中在一组图像中定位目标子图像的能力进行了压力测试。结果显示GPT-4o在长上下文情景中始终优于其他模型，但在负样本（即针未在抽屉中）中存在错误信息生成问题。此外，对API模型和开源模型进行了综合的长上下文评估，显示了相当大的性能差距。可通过提供的网址获取代码、数据和重现主要结果的指令。

Jun, 2024

我们介绍了InterleavedBench作为第一个精心策划的用于评估混合文本图像生成的基准，并引入了使用GPT-4o提供准确且可解释的评估的强无参考度量InterleavedEval。通过广泛的实验和严格的人工评估，我们表明我们的基准和度量可以有效评估现有模型，并与以前的基于参考的度量具有较强的相关性。

Jun, 2024

本研究解决了文本到图像生成中自动质量评估的需求，特别针对现有方法依赖昂贵的多模态大型语言模型所面临的可扩展性问题。研究提出了一种基于任务分解的新框架，并设计了创新的训练策略，将GPT-4o的评估能力蒸馏至7B的开源多模态语言模型MiniCPM-V-2.6，实验证明其在与人类判断的一致性上显著优于现有评估方法，具有重要的应用潜力。

Nov, 2024

本研究解决了文本和图像生成中的一致性问题，通过提出ISG评估框架，利用场景图结构捕获文本与图像块之间的关系，并在多个层次上评估生成内容。研究发现，虽然最近的统一视觉语言模型在交错内容生成上表现不佳，但基于分离语言和图像模型的组合方法可以大幅提升性能，为未来的研究提供了重要的基准和落脚点。

Nov, 2024

本研究解决了现有基准在评估开放式交互图文生成方法时数据规模和多样性不足的问题。我们提出了GATE OpenING基准，包含5400个高质量人类标注实例，涵盖56个真实世界任务，并展示了我们的IntJudge模型在评估多模态生成方法方面优于传统评估者的能力。这项工作为未来模型的发展提供了重要指导，并推动了交互图文生成技术的进步。

Nov, 2024