基于图的游戏交互叙事可视化(GRIM)
本文主要介绍了一个基于知识图谱和神经语言模型的交互式小说生成算法,通过提取常识和主题知识来实现语义连贯、有趣、一致的文本世界,实验结果显示该模型优于规则和人工基准。
Jan, 2020
使用trope来设计故事结构,提出了Story Designer,它是一个基于Evolutionary Dungeon Designer的混合智能协作的结构工具,它使用tropes作为建筑模块,通过交互式连接生成故事结构,它不仅可以作为故事设计的工具,还可以将关卡设计和故事相结合。
Oct, 2022
本文提出了一个通用的交互式故事可视化系统,该系统涵盖了故事到提示生成,文本到布局生成,可控文本到图像生成和图像到视频动画四个组件,允许用户处理多个新角色和灵活修改布局与结构。
May, 2023
自动化故事可视化系统通过大规模语言模型的理解和规划能力进行布局规划,然后利用大规模文本到图像模型生成基于布局的复杂故事图像,通过密集条件生成模块将简单边界框布局转换为草图或关键点控制条件增加生成图像质量和简便的用户交互,同时提出了一种简单而有效的多视角一致的角色图像生成方法,消除了依赖人力收集或绘制角色图像的需求。
Nov, 2023
我们提出了一种基于理论启发的视觉叙事生成器,该生成器融合了漫画创作习语,将漫画的概念原则转化为整合理论的系统层次,用于创作漫画内容。生成器通过从面板构图、物体位置、面板转换和叙事要素的层次上进行顺序决策来创建漫画。每个层次的决策基于叙事目标,遵循媒体的相应层次习语。借鉴Cohn的叙事语法提供整体故事弧线。面板构图采用受三分法启发的照片构图。基于McCloud提出的面板转换理论,包括场景、人物和时间变化之间的焦点转移的转换层被编码进系统中。最后,基于对动作动词使用动作动词本体论进行分析,添加常见的叠加符号(例如感叹号)。通过各种设置和示例输出展示了生成的漫画的多样性。该生成器和相关模块可以用于视觉叙事创作,并进一步研究视觉叙事理解的计算模型。
Dec, 2023
EpicEvo通过引入新的角色来适应性生成新故事,并将这些角色无缝地融入已有的人物动态中,使用了改良的文本数据集和一种具有对抗角色对齐模块的扩散式视觉故事生成模型,通过定量评估和定性研究证明了其在Diffusion模型中定制化视觉故事生成方面的优越性。
May, 2024
自动生成游戏情节提升了玩家的体验,通过提供丰富而沉浸式的叙述体验,适应玩家的操作。我们提出了一种新的情节创作工作流程,通过使用大型语言模型驱动虚拟角色的行为,导入作者的意图并创造出根据游戏世界状态动态适应的故事,最终实现了作者、角色模拟和玩家共同创作的故事。
May, 2024
使用基础模型将简单的文本输入转化为复杂互动角色扮演游戏体验的文本游戏引擎框架,可动态呈现游戏故事并根据玩家的行动实时调整游戏角色、环境和机制,其潜力展示了生成式人工智能对游戏生命周期的转型影响,并强调游戏范式的开放和民主的可能性。
Jul, 2024
本研究解决了传统视觉叙事中的复杂性和资源限制问题。通过引入一种创新的方法Story3D-Agent,利用大型语言模型将叙事转化为3D视觉效果,从而实现对多角色动作和动态元素的精确控制。研究结果表明,该方法不仅增强了叙事的一致性,还为3D故事表现的发展奠定了基础。
Aug, 2024