STORIUM:一个面向机器循环故事生成的数据集和评估平台
介绍了一个新的 STORYWARS 数据集,由九千多名不同作者在线协作创作了超过 40,000 个协作故事,并在其中设计了 12 种任务类型,共 101 个不同的故事相关任务。此外,展示了针对这些任务的模型 INSTRUCTSTORY。模型通过 instruction tuning,发挥了优异的性能,同时在全监督、少样本和零样本场景中均有着出色表现。
May, 2023
首个序列视觉语言数据集的发布,这个数据集中包含 81,743 张唯一图片和 20,211 个序列,旨在探讨其在视觉叙事任务中的应用,建立多个强劲的基础模型以及推动基于自动度量标准的进展,为模拟具象和比喻、社交语言提供了可能,从而推动人工智能不断向更接近人类理解的基于事件结构和主观表达的方向发展。
Apr, 2016
该研究提出了 KG-Story,这是一个通过使用外部知识图谱生成有趣故事的三阶段框架,采用序列化的照片作为输入,比起现有最先进的系统,经人类评价的结果表明 KG-Story 产生的故事平均排名更好。
Dec, 2019
从文本提示中生成视频故事是一项复杂的任务,需要高质量的视觉效果,视频需要根据文本提示的顺序进行逼真的呈现,而且在整个帧中保持一致。为了填补数据集中常见的仅包含单个标题的视频数据集的不足,我们在三个现有数据集上收集全面的人工注释,并引入了 StoryBench:一个新的、具有挑战性的多任务基准,可可靠地评估即将推出的文本到视频模型。我们的基准包括三个逐渐增加难度的视频生成任务:动作执行,即从条件视频开始生成下一个动作;故事延续,即从条件视频开始执行一系列动作;以及故事生成,即仅从文本提示生成视频。我们评估了一些小而强大的文本到视频基线,并展示了根据现有视频标题算法生成的类似故事的数据进行训练的好处。最后,我们为人工评估视频故事建立了指南,并重申了对于视频生成而言更好的自动度量指标的需求。StoryBench 旨在鼓励未来在这个令人兴奋的新领域中的研究。
Aug, 2023
该研究收集、预处理并公开发布了一个视频 - 语言故事数据集 (SyMoN),包含 5,193 个受欢迎电影和电视剧的视频摘要,旨在为多模态故事理解的进展打下基础。
Mar, 2022
本文提出了一个新的任务 —— 风格化故事生成,即在给定前导的情况下生成带有指定风格的故事,并提出了一种新颖的生成模型来解决这个问题,该模型首先规划出风格化关键词,然后在关键词的指导下生成整个故事。此外,提出了两种自动度量标准来评估所生成的故事与指定风格之间的一致性。实验证明,我们的模型能够根据 ROCStories 数据集(Mostafazadeh et al.,2016)可控地生成情感驱动或事件驱动的故事,为进一步研究风格化故事生成提供了见解。
May, 2021
此研究提出并介绍了拥有角色描述的文学作品摘要数据集 LiSCU,探索了文学角色理解中的新领域,并通过使用预训练语言模型进行的实验,表明需要更好的叙事理解模型。
Sep, 2021
该研究利用 VIST 数据集,提出了一个模型,通过隐式学习提供的角色之间的关系,生成关注的角色的故事,旨在解决基于图像序列生成故事时,模型忽略可能存在的人和动物角色的问题。
Sep, 2019
该研究探讨了故事生成:创作系统可以在一个主题上构建连贯流畅的文本段落,使用一个大规模的数据集,通过分层式故事生成模型,研究人员成功地实现了模型融合,引入了新的门控多尺度自注意机制,并在自动化和人工评估中实现了显著的改进。
May, 2018
基于图像流生成合理和生动的故事情节的多模态的人类水平故事生成方法 LLaMS 通过充分利用 LLM 中的常识知识,首先采用序列数据自动增强策略来增强实际内容表达,并利用文本推理架构进行表达性故事生成和预测;其次,我们提出故事插图生成的 SQ-Adapter 模块来保持序列一致性。通过人工评估验证了 LLaMS 提出方法的优越性,与之前的 SOTA 方法相比具有最先进的故事性能,具有 86% 的相关性和 100% 的一致性胜率。此外,还进行了消融实验以验证所提出的序列数据增强和 SQ-Adapter 的有效性。
Mar, 2024