Jun, 2024

从文字到世界：将一行提示转化为沉浸式多模态数字故事的沟通式 LLM 代理

PDF
TL;DRStoryAgent 框架利用大型语言模型和生成工具自动化和完善数字叙事，通过自上而下的故事起草和自下而上的资源生成方法解决手动介入、交互式场景编排和叙事连贯性等关键问题，实现了跨多种形式的交互式、连贯的故事高效制作，使内容创作更具民主性并增强参与度，而且无需参考视频，标志着自动化数字叙事的重大进展。
digital storytellingstoryagent frameworklarge language modelsautomated digital storytellingnarrative consistency
发现论文，激发创造
  • 通过故事讲述栩栩如生的故事：一个富有表达力和流畅的多模式讲故事者

    基于图像流生成合理和生动的故事情节的多模态的人类水平故事生成方法 LLaMS 通过充分利用 LLM 中的常识知识，首先采用序列数据自动增强策略来增强实际内容表达，并利用文本推理架构进行表达性故事生成和预测；其次，我们提出故事插图生成的 SQ-Adapter 模块来保持序列一致性。通过人工评估验证了 LLaMS 提出方法的优越性，与之前的 SOTA 方法相比具有最先进的故事性能，具有 86% 的相关性和 100% 的一致性胜率。此外，还进行了消融实验以验证所提出的序列数据增强和 SQ-Adapter 的有效性。

    Mar, 2024

  • 虚构世界，真实连接：通过 LLMs 开发社区叙事聊天机器人

    通过故事讲述和大型语言模型的整合，我们开发出适用于社区环境下引人入胜且可信的社交机器人。我们引入了故事讲述社交机器人以及故事工程的概念，将虚构游戏角色转变为 “真实” 的社交实体，在玩家社群中与人们相互交互。通过使用 GPT-3 驱动我们的 SSC 原型 “David” 和 “Catherine”，并在 Discord 上的在线游戏社区 “DE (Alias)” 评估它们的表现，我们运用问卷（N=15）和访谈（N=8）对社区成员进行混合方法分析，结果显示故事讲述在社区环境中显著提升了社交机器人的吸引力和可信度。

    Sep, 2023

  • 多模态大型语言模型改进视觉叙述

    借助大型语言模型和大型视觉语言模型的指导调整，本文提出了一种新颖方法来解决视觉故事生成中的困难，通过组合图像和叙述来创造具有吸引力和丰富上下文的故事，实验结果表明，本方法在叙述连贯性、相关性、情感深度和总体质量等方面明显优于现有模型，凸显了指导调整和大型语言模型 / 视觉语言模型在推进视觉故事的潜力。

    Jul, 2024

  • StoryVerse：基于 LMM 的人物模拟通过叙事规划实现共同编写动态情节

    自动生成游戏情节提升了玩家的体验，通过提供丰富而沉浸式的叙述体验，适应玩家的操作。我们提出了一种新的情节创作工作流程，通过使用大型语言模型驱动虚拟角色的行为，导入作者的意图并创造出根据游戏世界状态动态适应的故事，最终实现了作者、角色模拟和玩家共同创作的故事。

    May, 2024

  • 通过提示工程探索大型语言模型和基于 Agent 的建模的交叉领域

    通过使用大型语言模型进行人际互动的模拟，本研究通过来自 Park 等人（2023）的启发，通过引入兴趣引擎技术，展示了两种可信的人类行为代理模拟：一种是两个代理人的谈判，另一种是六个代理人的谋杀迷游戏。

    Aug, 2023

  • 基于 LLM 的代理程序用于自动提升用户故事质量：一项早期报告

    该研究探讨了在奥地利邮政集团信息技术敏捷团队中利用大型语言模型自动改善用户故事质量的方法，并基于自主的 LLM-Agent 系统开发了参考模型，并将其应用于公司。通过对六个敏捷团队的 11 名参与者进行用户故事质量评估，我们的研究结果证明了 LLMs 在提高用户故事质量方面的潜力，为敏捷开发中人工智能角色的研究做出了贡献，并提供了人工智能在行业环境中具有转变性影响的实际示例。

    Mar, 2024

  • 保持一致性：通过迭代多智能体通信从图像流中进行主题感知的故事叙述

    本研究提出了一种新的视觉叙述方法，引入话题描述任务来检测图像流的全局语义背景，并通过多代理通信框架将话题描述生成器与故事生成器合并学习，实验结果表明该方法在生成故事方面具有比现有方法更高的质量。

    Nov, 2019

  • 大型语言模型是零样本文本到视频生成的帧级导演

    本文介绍了一种新的基于指令训练的大语言模型框架 DirecT2V，该模型可以通过用户提供的单个抽象提示生成一帧帧的视频，并通过新颖的数值映射方法和双 softmax 过滤来维护临时一致性和防止物体折叠。实验结果证明了 DirecT2V 框架在从抽象用户提示中生成视觉上一致和连贯的视频方面的有效性，从而解决了零样本视频生成的挑战。

    May, 2023

  • 大型语言模型作为一致的故事可视化器

    StoryGPT-V 使用潜在扩散和大语言模型的优点，生成具有一致且高质量角色的图像，通过解决指代消解和对上下文的理解来提高生成准确性和忠实度。模型在视觉故事可视化上表现优异，并具有较低的内存消耗。

    Dec, 2023

  • 叙事游戏：互动叙事理解

    利用大型语言模型生成人类般的回复，通过提取故事中的人物特点，引入 NarrativePlay 系统，允许用户在沉浸式环境中扮演虚构角色并与其他角色互动，自动生成故事情境、角色形象和对话，大大提升用户体验。该系统关注用户所选角色视角下从故事中提取的主要情节事件，并在两种类型的故事中进行评估：侦探故事和冒险故事，用户可以通过对话探索世界或改善与故事角色的关系。

    Oct, 2023