本研究设计了一种新的图像故事生成数据集Visual Writing Prompts，通过众包方式收集与每个图像序列对应的12K个故事，并基于角色一致性提出了一种新的故事生成模型，与现有技术相比，生成的故事更为连贯、有更强的叙述性和视觉基础。

Jan, 2023

本文对使用VLPLMs和SOTA模型在三个不同的数据集上进行的故事生成能力进行了自动和人为评估，结果表明VLPLMs生成的故事比其他故事生成模型更高质量，有一定程度上的过人之处，但也揭示了在涉及世界知识的情况下容易“抄袭”真实故事的现象。

Jan, 2023

本文提出了一种基于文本的神经管道，利用预训练的语言模型和文本引导的潜在扩散模型来生成一系列连贯的图像，实现连贯的故事书生成，并展示了无需昂贵的图像-标题对训练的文本转换技术的性能表现。

Feb, 2023

这项工作研究了一项名为开放域交错图像-文本生成的挑战性任务，该任务根据输入查询生成交错的文本和图像。我们提出了一种新的基于大型语言模型（LLMs）和预训练的文本到图像模型（T2I）的交错生成框架，即OpenLEAF。在OpenLEAF中，LLM生成文本描述，协调T2I模型，创建用于生成图像的视觉提示，并将全局上下文融入到T2I模型中。这种全局上下文提高了交错生成中图像的实体和风格的一致性。我们首先提出使用大型多模态模型（LMMs）来评估开放域交错图像-文本序列的实体和风格的一致性。根据LMM在我们构建的评估集上的评估，所提出的交错生成框架可以为各种领域和应用生成高质量的图像-文本内容，例如如何问答、叙事、图形故事改写以及网页/海报生成任务。此外，我们通过人类评估验证了所提出的LMM评估技术的有效性。我们希望我们提出的框架、基准和LMM评估能够帮助建立有趣的交错图像-文本生成任务。

Oct, 2023

连接文本和视觉模态在生成智能中起着关键作用。受大型语言模型成功的启发，目前正在大量研究开发多模态大型语言模型 (MLLMs)。本文全面回顾了最近的面向视觉的MLLMs，分析了它们的体系结构选择、多模态对齐策略和训练技术。同时，还对这些模型在包括视觉定位、图像生成和编辑、视觉理解以及领域特定应用等一系列任务上进行了详细分析。此外，我们还编译和描述了训练数据集和评估基准，并在性能和计算要求方面对现有模型进行了比较。总体而言，本调查提供了当前最新技术的全面概述，为未来的MLLMs奠定了基础。

Feb, 2024

基于图像流生成合理和生动的故事情节的多模态的人类水平故事生成方法LLaMS通过充分利用LLM中的常识知识，首先采用序列数据自动增强策略来增强实际内容表达，并利用文本推理架构进行表达性故事生成和预测；其次，我们提出故事插图生成的SQ-Adapter模块来保持序列一致性。通过人工评估验证了LLaMS提出方法的优越性，与之前的SOTA方法相比具有最先进的故事性能，具有86%的相关性和100%的一致性胜率。此外，还进行了消融实验以验证所提出的序列数据增强和SQ-Adapter的有效性。

Mar, 2024

我们介绍了SEED-Bench-2-Plus，这是一个专门设计用于评估MLLMs的文本丰富视觉理解的基准，通过涵盖现实世界中的三个广泛类别（图表、地图和网络），它们有效地模拟了复杂多样的文本丰富环境，并强调了当前MLLMs在文本丰富视觉理解方面的限制。

Apr, 2024

多模态生成技术的调查，介绍了不同领域中的重要进展，包括图像、视频、3D和音频，研究了方法和数据集，还提出了使用现有生成模型进行人机交互的工具增强型多模态代理，同时探讨了人工智能安全问题和新兴应用及未来前景。

May, 2024

CoMM数据集提供了同时生成图像和文本的高质量多模态内容，以增强多模态大语言模型的一致性和准确性，并在多个下游任务中显示出显著的上下文学习能力。

Jun, 2024

借助大型语言模型和大型视觉语言模型的指导调整，本文提出了一种新颖方法来解决视觉故事生成中的困难，通过组合图像和叙述来创造具有吸引力和丰富上下文的故事，实验结果表明，本方法在叙述连贯性、相关性、情感深度和总体质量等方面明显优于现有模型，凸显了指导调整和大型语言模型/视觉语言模型在推进视觉故事的潜力。

Jul, 2024