MMNov, 2019

神经故事板艺术家：使用连贯的图像序列可视化故事

PDF
TL;DR本研究提出了一种基于 “灵感激发并创作” 框架的故事板创建方法，使用具有层次关注和密集视觉 - 语义匹配的故事到图像检索器选取相关电影图像，再通过三个渲染步骤增加图片的灵活性，包括擦除无关区域、统一图片风格和替换一致性人物等，并在视觉故事数据集上的实验证明，这种方法比现有基准工作更加有效。
storyboard creationmultimediainspire-and-create frameworkcinematic imagesrendering
发现论文，激发创造
  • Make-A-Storyboard：故事板的通用框架，具有解耦和合并控制

    Story Visualization 通过 Story Visualization 创建故事板，在场景和角色之间保持视觉一致性，与当前方法相比，Story Visualization 通过 Make-A-Storyboard 的通用框架解决了义务独立的角色图像问题，并在广泛的实验中证明了其效果和普适性。

    Dec, 2023

  • 问题 - 答案计划的视觉叙事

    将图像序列转化为可解释的视觉前缀，结合预训练语言模型和规划，利用问题 - 答案对作为蓝图计划选择显著的视觉概念，并确定它们如何组织成故事，生成更连贯、有趣和自然的故事。

    Oct, 2023

  • 情节设计和改写：为视觉叙事建模

    本文介绍了 PR-VIST 框架，将输入的图像序列表示为故事图，找到形成故事情节的最佳路径，并通过迭代训练过程来生成最终故事，该框架根据自动和人工语法而言有更好的多样性、连贯性和人性化表现，削减研究表明描绘和重塑都对模型的优越性做出了贡献。

    May, 2021

  • 词级细粒度故事可视化

    本论文提出了一种新的句子表示方法来减轻不一致问题，并引入了融合特征的新的鉴别器和扩展的空间注意力来提高图像质量和故事连贯性，实验表明，与现有方法相比，该方法具有优越的性能。

    Aug, 2022

  • SCO-VIST: 基于社交互动常识知识的视觉叙事

    SCO-VIST 框架使用图表示形式，结合语义和基于发生的边权重，通过 Floyd-Warshall 算法生成视觉叙事。在多个指标上，该框架在视觉根植性、连贯性、多样性和人性上优于其他模型，经过自动和人工评估。

    Feb, 2024

  • 基于情感和关键词的视觉故事生成

    自动视觉化故事生成包含了自然对话生成和图像生成两个部分，其中，系统通过用户指定的关键词和情绪标签生成下一个句子，再用扩散模型生成相应的图像。此外，通过对象识别技术，生成的图像中的物品可被用于未来的故事发展。

    Jan, 2023

  • StoryImager：一个统一高效的故事可视化和完善框架

    StoryImager 是一个双向的、统一的、高效的框架，通过增强继承于预训练的文本到图像模型的 storyboard 生成能力实现双向生成。具体而言，我们引入了一种目标框架掩码策略来扩展和统一不同的故事图像生成任务。此外，我们提出了一种框架 - 故事交叉注意力模块，用于分解交叉注意力以实现局部保真度和全局一致性。此外，我们设计了一个上下文特征提取器，从整个故事线中提取上下文信息。广泛的实验结果证明了我们的 StoryImager 具有出色的性能。

    Apr, 2024

  • 情境化、展示和讲述：一种神经视觉讲故事的方法

    本文提出了基于神经网络的模型，通过图像序列生成短篇故事，该模型继承了 Vinyals 等人的图像描述模型，并引入了编码器 LSTM 来计算每个故事的上下文向量，用作多个独立解码器 LSTM 的第一个状态，每个解码器 LSTM 分别通过将图像嵌入作为第一个输入以生成相应图像序列的故事部分。我们在 Visual Storytelling Challenge 2018 的内部赛道上展示出了具有 METEOR 指标和人类评分的具有竞争力的结果。

    Jun, 2018

  • 创意视觉叙事流程

    本文提出了一个计算创意视觉叙述的管道和任务模块，用于构建一个具有不同环境，基于叙述目标的变异和面向受众的故事叙述能力的计算机视觉技术，并分析了收集的数据并描述了此方法向自动化的计划。

    Jul, 2018

  • 保持一致性：通过迭代多智能体通信从图像流中进行主题感知的故事叙述

    本研究提出了一种新的视觉叙述方法，引入话题描述任务来检测图像流的全局语义背景，并通过多代理通信框架将话题描述生成器与故事生成器合并学习，实验结果表明该方法在生成故事方面具有比现有方法更高的质量。

    Nov, 2019