Jun, 2024

基于视觉输入的故事生成：技术、相关任务和挑战

PDF
TL;DR从视觉数据中创建引人入胜的叙述对于自动化数字媒体消费、辅助技术和互动娱乐至关重要。该研究综述了用于生成这些叙述的方法学，重点讨论其原理、优势和局限性。该综述还涵盖了与自动故事生成相关的任务，如图像和视频字幕以及视觉问题回答，以及没有视觉输入的故事生成。这些任务与视觉故事生成存在共同的挑战，并为该领域使用的技术提供了灵感。我们对主要数据集和评估指标进行了分析，并提供了对其局限性的批评性观点。
engaging narrativesvisual dataautomated digital mediastory generationevaluation metrics
发现论文，激发创造
  • 基于情感和关键词的视觉故事生成

    自动视觉化故事生成包含了自然对话生成和图像生成两个部分，其中，系统通过用户指定的关键词和情绪标签生成下一个句子，再用扩散模型生成相应的图像。此外，通过对象识别技术，生成的图像中的物品可被用于未来的故事发展。

    Jan, 2023

  • 基于角色模型的故事生成：我讲故事的方式

    本研究探讨了基于神经生成的不同人格特征的视觉故事生成，通过在编码器和解码器表示中添加人格来引导生成，提出了五种模型，并使用五种不同的人格进行实验，结果表明我们的模型在生成目标人格的故事时表现更好。

    Jun, 2019

  • 通过交互式视觉问题生成和回答定制图像叙述生成

    本文提出了定制化的图像叙事生成任务，通过用户交互式参与生成过程，并尝试通过反复交互阶段来学习用户的兴趣，从而自动生成更广泛主题的多样化描述，同时可针对交互目标进行定制化。

    Apr, 2018

  • 通过语义一致性提升视觉故事的生成和评估

    研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

    May, 2021

  • 问题 - 答案计划的视觉叙事

    将图像序列转化为可解释的视觉前缀，结合预训练语言模型和规划，利用问题 - 答案对作为蓝图计划选择显著的视觉概念，并确定它们如何组织成故事，生成更连贯、有趣和自然的故事。

    Oct, 2023

  • 保持一致性：通过迭代多智能体通信从图像流中进行主题感知的故事叙述

    本研究提出了一种新的视觉叙述方法，引入话题描述任务来检测图像流的全局语义背景，并通过多代理通信框架将话题描述生成器与故事生成器合并学习，实验结果表明该方法在生成故事方面具有比现有方法更高的质量。

    Nov, 2019

  • 知识增强型视觉叙事

    该研究提出了 KG-Story，这是一个通过使用外部知识图谱生成有趣故事的三阶段框架，采用序列化的照片作为输入，比起现有最先进的系统，经人类评价的结果表明 KG-Story 产生的故事平均排名更好。

    Dec, 2019

  • AutoStory: 以最小化人力投入生成多样化的故事图像

    自动化故事可视化系统通过大规模语言模型的理解和规划能力进行布局规划，然后利用大规模文本到图像模型生成基于布局的复杂故事图像，通过密集条件生成模块将简单边界框布局转换为草图或关键点控制条件增加生成图像质量和简便的用户交互，同时提出了一种简单而有效的多视角一致的角色图像生成方法，消除了依赖人力收集或绘制角色图像的需求。

    Nov, 2023

  • 纯文本训练视觉叙事

    利用跨模态预训练的 CLIP 模型，结合纯文本数据训练的视觉条件故事生成器及不依赖训练的视觉条件规划器，提出了一种仅使用文本数据进行训练的视觉叙事方法，有效提高了视觉叙事的泛化能力。在 VIST 基准上进行的广泛实验以及表达多样性和人工评估的进一步评估结果，都突显了我们方法在信息丰富性和稳健性方面的优越性。

    Aug, 2023

  • 利用检索辅助视频生成技术的动画故事讲述

    提出了一种使用现有短视频合成视觉讲述视频的技术，该技术基于查询文本描述运动结构，在结构引导和外观指导下生成基于情节的视频，并通过概念个性化方法保证视频的视觉一致性。

    Jul, 2023