ACLJan, 2023

基于人物角色的故事生成系统：利用策划好的图像序列激发创作

PDF
TL;DR本研究设计了一种新的图像故事生成数据集 Visual Writing Prompts，通过众包方式收集与每个图像序列对应的 12K 个故事，并基于角色一致性提出了一种新的故事生成模型，与现有技术相比，生成的故事更为连贯、有更强的叙述性和视觉基础。
image-based story generationvisual writing promptscoherent plotscrowdsourcingcharacter-based story generation
发现论文，激发创造
  • 问题 - 答案计划的视觉叙事

    将图像序列转化为可解释的视觉前缀，结合预训练语言模型和规划，利用问题 - 答案对作为蓝图计划选择显著的视觉概念，并确定它们如何组织成故事，生成更连贯、有趣和自然的故事。

    Oct, 2023

  • 基于角色模型的故事生成：我讲故事的方式

    本研究探讨了基于神经生成的不同人格特征的视觉故事生成，通过在编码器和解码器表示中添加人格来引导生成，提出了五种模型，并使用五种不同的人格进行实验，结果表明我们的模型在生成目标人格的故事时表现更好。

    Jun, 2019

  • 每张图片都有一个故事：基于图像的可控风格故事生成

    本文通过加入预训练模型 CLIP 和 GPT-2 解决数据稀缺性问题，加入风格适配器控制故事生成，尝试解决从图像到故事的生成难题，实现了包括非风格化、浪漫和动作等多种风格的故事生成。结果表明，该方法改善了故事的连贯性和图像与故事的相关性，但风格仍有待改进。

    Sep, 2022

  • 以人物为中心的叙事

    该研究利用 VIST 数据集，提出了一个模型，通过隐式学习提供的角色之间的关系，生成关注的角色的故事，旨在解决基于图像序列生成故事时，模型忽略可能存在的人和动物角色的问题。

    Sep, 2019

  • 词级细粒度故事可视化

    本论文提出了一种新的句子表示方法来减轻不一致问题，并引入了融合特征的新的鉴别器和扩展的空间注意力来提高图像质量和故事连贯性，实验表明，与现有方法相比，该方法具有优越的性能。

    Aug, 2022

  • 基于情感和关键词的视觉故事生成

    自动视觉化故事生成包含了自然对话生成和图像生成两个部分，其中，系统通过用户指定的关键词和情绪标签生成下一个句子，再用扩散模型生成相应的图像。此外，通过对象识别技术，生成的图像中的物品可被用于未来的故事发展。

    Jan, 2023

  • 通过语义一致性提升视觉故事的生成和评估

    研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

    May, 2021

  • 在视觉叙事中检测和固定重要角色

    本文介绍了 VIST 角色数据集，提出了重要角色检测和角色定位两个任务，并开发了基于分布相似性和预训练视觉和语言模型的简单无监督模型。这些模型和数据集可为基于角色视角的故事分析和生成工作提供基础。

    Mar, 2023

  • SCO-VIST: 基于社交互动常识知识的视觉叙事

    SCO-VIST 框架使用图表示形式，结合语义和基于发生的边权重，通过 Floyd-Warshall 算法生成视觉叙事。在多个指标上，该框架在视觉根植性、连贯性、多样性和人性上优于其他模型，经过自动和人工评估。

    Feb, 2024

  • StoryGAN：用于故事可视化的序贯条件 GAN

    本研究提出了一种新的任务 —— 故事可视化，为每个句子生成一张图像，针对图像连续性与场景和角色的全局一致性的挑战，构建了基于顺序条件 GAN 框架的故事到图像序列生成模型 ——StoryGAN，并通过质量和一致性指标优于现有模型。

    Dec, 2018