这项工作研究了一项名为开放域交错图像 - 文本生成的挑战性任务，该任务根据输入查询生成交错的文本和图像。我们提出了一种新的基于大型语言模型（LLMs）和预训练的文本到图像模型（T2I）的交错生成框架，即 OpenLEAF。在 OpenLEAF 中，LLM 生成文本描述，协调 T2I 模型，创建用于生成图像的视觉提示，并将全局上下文融入到 T2I 模型中。这种全局上下文提高了交错生成中图像的实体和风格的一致性。我们首先提出使用大型多模态模型（LMMs）来评估开放域交错图像 - 文本序列的实体和风格的一致性。根据 LMM 在我们构建的评估集上的评估，所提出的交错生成框架可以为各种领域和应用生成高质量的图像 - 文本内容，例如如何问答、叙事、图形故事改写以及网页 / 海报生成任务。此外，我们通过人类评估验证了所提出的 LMM 评估技术的有效性。我们希望我们提出的框架、基准和 LMM 评估能够帮助建立有趣的交错图像 - 文本生成任务。

Oct, 2023

Multimodal C4 is a publicly available dataset that supports in-context vision and language models, including linear assignment algorithm, for complex learning between images and texts.

Apr, 2023

我们介绍了 InterleavedBench 作为第一个精心策划的用于评估混合文本图像生成的基准，并引入了使用 GPT-4o 提供准确且可解释的评估的强无参考度量 InterleavedEval。通过广泛的实验和严格的人工评估，我们表明我们的基准和度量可以有效评估现有模型，并与以前的基于参考的度量具有较强的相关性。

Jun, 2024

该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于文本生成图像任务方面表现更好。

May, 2023

CoMM 数据集提供了同时生成图像和文本的高质量多模态内容，以增强多模态大语言模型的一致性和准确性，并在多个下游任务中显示出显著的上下文学习能力。

Jun, 2024

分阶段训练方法和生成 vokens 提高大型语言模型在视觉和语言生成方面的效果。

Oct, 2023

本文提出了一种名为 MultiFusion 的方法，利用预训练模型将多个语言和多模态输入整合到单一的图像生成模块中，从而大幅提高了效率。实验证明，MultiFusion 可以将各个独立的组件整合起来，使图像生成模块能够利用来自各种语言和模态的输入。

May, 2023

本文研究了图片到文本和文本到图片生成的联合学习，使用了基于 Transformer 的单个多模式模型来统一学习双向任务，并通过两级粒度特征表示和序列级训练进一步改进 Transformer 的统一框架，实验证明，该方法显著提高了先前基于 Transformer 的模型 X-LXMERT 的文本到图像生成的 FID（37.0→29.9）和在 MS-COCO 数据集上对细调图像到文本生成的 CIDEr-D 得分（100.9%→122.6%）。

Oct, 2021

通过引入新的任务 Interleaved Image-Text Comprehension (IITC) 及其相关的 VEGA 数据集和 Image-Text Association（ITA）子任务，我们在多模态大模型（MLLMs）上建立了一个坚实的基线，实现了 85.8％的图像关联准确率和 0.508 的 Rouge 分数，结果验证了我们的数据集在提高 MLLMs 对复杂图文理解能力方面的有效性。

Jun, 2024

综合评估了多模态大型语言模型的指导遵循能力，并引入了 I4 基准测试，提出了一种智能控制知识重新注入模块和无标注跨注意力引导的反事实图像训练策略，从而实现了在复杂的纷繁视觉语言指令中有效处理的新型多模态大型语言模型 Cheetah，达到了 I4 中所有任务的零样本表现的最新水平，并与当前 MME 基准的最新指导优化模型相比具有竞争力的性能。

Aug, 2023