提出了一种在编码器和采样阶段均采用自适应上下文建模的方法来改进文本到图像生成模型，实现了对视觉化故事生成的全局一致性的提升，取得了 PororoSV 和 FlintstonesSV 数据集上最佳 FID 分数和生成语义一致故事图像的优异性能。

May, 2023

现有的视频字幕基准和模型缺乏一致的因果 - 时间叙述表示，这是通过因果关系连接的事件序列，随着时间的推移由角色或代理驱动。为了解决这一问题，我们提出了 NarrativeBridge，它包括通过使用大型语言模型和少量提示生成了新颖的因果 - 时间叙述 (CTN) 字幕基准，明确地在视频描述中编码因果效应的时间关系，并通过自动评估来确保字幕的质量和相关性；以及专门的因果效应网络 (CEN) 架构，具有分别用于独立捕捉因果和效应动态的编码器，从而能够有效地学习和生成具有因果 - 时间叙述的字幕。广泛的实验表明，与第二好的模型 (GIT) 相比，CEN 在表达视频内容的因果和时间方面更准确：MSVD 和 MSR-VTT 数据集上的 CIDEr 分别为 17.88 和 17.44。所提出的框架能够理解和生成视频中存在的复杂的因果 - 时间叙述结构的细致文本描述，解决了视频字幕中的一个重要限制。有关项目详细信息，请访问此网址：https://URL

Jun, 2024

研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

May, 2021

通过引入结构因果模型 (SCM) 从而诱导总结数据的潜在因果结构，我们提出了一种因果启发式序列到序列模型 (CI-Seq2Seq) 来学习可以模拟因果因素的因果表示，以引导我们获取总结生成的因果信息。在两个广泛使用的文本总结数据集上的实验结果证明了我们方法的优势。

Aug, 2023

本文提出了一种基于自回归扩散模型和视觉记忆模块的方法，利用软注意力机制实现了参考解析和场景、角色的一致性维护，用于生成与故事一致、质量高的帧画面，并在多句子情节的数据集上进行了实验验证。

Nov, 2022

文本到图像扩散模型研究了知识表示和视觉特征，采用因果中介分析方法来理解大规模文本到图像扩散模型中不同视觉属性相关的知识是如何存储的，并发现在条件 UNet 的一组组件中分布着不同属性的知识。同时，发现在公共文本到图像模型中，只存在一个因果状态，这在其他语言模型中是不同的。基于这种观察，引入了一种快速、无需数据的模型编辑方法 Diff-QuickFix，可以在短时间内编辑（删除）模型中的概念，提供了 1000 倍的加速和与现有微调方法相当的编辑性能。

Oct, 2023

本文提出了一种基于文本的神经管道，利用预训练的语言模型和文本引导的潜在扩散模型来生成一系列连贯的图像，实现连贯的故事书生成，并展示了无需昂贵的图像 - 标题对训练的文本转换技术的性能表现。

Feb, 2023

本文提出了一个可以基于现有的训练好的文本到图像转换模型生成连续图像和故事的方法，并加以改进。该方法利用任务特定的模块实现顺序图像生成和复制源图像中相关元素，并使用了全模型微调和基于提示的微调等策略进行参数调整。该方法在多个数据集上进行了测试，并通过生成故事情节的连续性检验了优点。最后，研究结果表明，在多个角色参与的叙述中，预训练模型的性能明显下降。

Sep, 2022

本研究提出了一种新的任务 —— 故事可视化，为每个句子生成一张图像，针对图像连续性与场景和角色的全局一致性的挑战，构建了基于顺序条件 GAN 框架的故事到图像序列生成模型 ——StoryGAN，并通过质量和一致性指标优于现有模型。

Dec, 2018

本研究提出 GLAC Net 模型，结合全局 - 局部注意力和上下文级联机制，实现多图故事生成，模型在视觉叙事数据集上获得极具竞争力的结果。

May, 2018