将图像序列转化为可解释的视觉前缀，结合预训练语言模型和规划，利用问题 - 答案对作为蓝图计划选择显著的视觉概念，并确定它们如何组织成故事，生成更连贯、有趣和自然的故事。

Oct, 2023

该研究利用 VIST 数据集，提出了一个模型，通过隐式学习提供的角色之间的关系，生成关注的角色的故事，旨在解决基于图像序列生成故事时，模型忽略可能存在的人和动物角色的问题。

Sep, 2019

通过引入 Language-Quantized AutoEncoder (LQAE) 这一基于无监督方法的模型，利用预训练语言模型（如 BERT，RoBERTa）来解决大型语言模型缺乏图像感知的问题，并有效地将图像和文本信息进行对齐，通过 LQAE 学习将图像编码为一系列文本符号，使 LQAE 能够将不对齐的图像用于多模态任务，以及使用 BERT 文本特征对图像进行线性分类。

Feb, 2023

本研究探讨了影响当前图像生成模型难以可靠地生成良好文本图像的主要因素：流行的文本到图像模型缺乏字符级输入特征，这使得更难以预测一个单词的视觉构成为一系列字形。通过对比具有字符感知的与不具有字符感知的文本编码，我们在文本域内发现字符感知的模型在拼写任务上提供了巨大的收益。转化这些经验到图像领域，我们训练了一套图像生成模型，并表明在一系列的新文本渲染任务（我们的 DrawText 基准测试）上，字符感知的变体优于其字符盲的对手。尽管训练样本数量少得多，我们的模型在视觉拼写上设置了更高的最新水平，在罕见单词上比竞争对手多 30 多个点的准确率提升。

Dec, 2022

提出了一个使用 4 亿多参数的 Transformer 模型 CogView 以及 VQ-VAE 分词器解决通用领域文本到图像生成问题，并展示了细调策略和预训练稳定化方法，CogView 在模糊的 MS COCO 数据集上实现了最优性能，胜过以前基于 GAN 的模型和最近的 DALL-E 相似作品。

May, 2021

使用预训练 Transformers 模型，结合 VQGAN 模型实现离散图像向量量化，进一步提高了图像生成和无监督表示学习的效率和准确性。同时，该模型还在 ImageNet 数据集上的线性探针准确性方面的表现优于同等规模的 Image GPT-L 和 Image GPT-XL 模型。

Oct, 2021

研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

May, 2021

Story Visualization 任务的挑战在于生成图像序列中的视觉质量和帧间的一致性。我们采用并行的基于 transformer 的方法，通过过去和未来的描述与图像进行交叉注意力来实现一致性，并结合文本条件和字符条件的逻辑回归来隐式生成角色，进而提出了一种角色指导技术。同时我们使用大型语言模型进行标题增强，得到了优于以往方法的最先进结果，验证了我们的定量结果的有效性。

Mar, 2024

本文提出了一个通用的交互式故事可视化系统，该系统涵盖了故事到提示生成，文本到布局生成，可控文本到图像生成和图像到视频动画四个组件，允许用户处理多个新角色和灵活修改布局与结构。

May, 2023

通过设计双分支变分自编码器 (VAE) 的神经路径表示，我们提出了一种新颖的神经路径表示，从序列和图像模态中学习路径潜在空间，通过优化神经路径的组合，我们可以在生成的 SVG 中融入几何约束的同时保持表达力。此外，我们引入了一种两阶段路径优化方法，用于改进生成的 SVG 的视觉和拓扑质量。

May, 2024