Word2World: 通过大型语言模型生成故事和世界
该研究展示如何使用 LLMs 来生成名为 Metavoidal 的游戏的二维游戏房间,通过人为干预微调的方法,可以从仅 60 个手动设计的房间中生成 37% 的可玩新颖关卡,以适应 Procedural Content Generation(PCG)的全局和局部约束。
May, 2023
近期,大型语言模型的出现为过程性内容生成带来了新的机遇。这篇论文探讨了通过大型语言模型生成游戏的可能性,提出了一种基于视频游戏描述语言的大型语言模型框架,可以同时生成游戏规则和关卡。实验结果展示了这个框架如何根据不同的上下文进行生成,为过程性内容生成领域中的新游戏生成提供了新的见解。
Apr, 2024
本文探讨了使用大型语言模型 (LLMs) 生成 Sokoban 游戏关卡的可行性及效果,发现 LLMs 能够生成关卡,且其性能随数据集规模的提高而显著提高。同时,文章也介绍了控制 LLMs 关卡生成器的初步实验结果,并探讨了未来研究的有 promising 的方向。
Feb, 2023
本研究引入了一种新的方法,使用 PDDL 语言构建显式世界模型,并利用预训练的大型语言模型作为 PDDL 和校验器等纠正反馈的接口,以提高计划问题的效率和准确性。在不涉及用户互动的情况下,通过验证 PDDL 模型的正确性,我们制定计划来解决复杂任务并取得成功。
May, 2023
本文介绍了一种用于生成游戏世界的机器学习方法,通过基于多人文本冒险游戏环境 LIGHT 的内容,利用基于神经网络的模型将位置、角色和对象组成一个连贯的整体。除了基于现有元素创建世界,该模型还可以生成新的游戏内容,提供了交互式辅助世界构建的方法,研究表明,我们的方法可以创造出具有连贯性与多样性的游戏环境,人类评估者也相对于其他机器学习方法更偏爱我们的创造方法。
Nov, 2019
本文介绍一个 fine-tuned GPT2 模型 MarioGPT,它能够生成多样的游戏地图,实现可控制的 PCG。结合 Novelty search,该模型能够生成具有不同游戏动态特点的多样化地图,开创了文本 - 游戏地图的先河。
Feb, 2023
通过使用 Unity 游戏引擎和文本交互,我们提出了大型混合现实语言模型(LLMR)框架,该框架用于实时创建和修改交互式混合现实体验,并通过包括场景理解、任务规划、自调试和内存管理等技术,使 LLMR 在平均错误率上比标准 GPT-4 提高了 4 倍。通过多个示例场景的展示、创作和修改任务的评估以及一个使用性研究,我们证明了 LLMR 具有跨平台的互操作性,并且参与者对系统有积极的体验并愿意再次使用。
Sep, 2023
HoLLMwood 是一个自动化框架,通过将大型语言模型分配到不同的角色,包括作家、编辑和演员,来释放它们的创造力并探索其在编剧方面的潜力,研究结果表明 HoLLMwood 在连贯性、相关性、趣味性和整体质量方面明显优于强基准。
Jun, 2024
我们发现大型语言模型在不同环境下存在不同程度的对齐问题,并通过构建多个上下文(称为世界)并利用相应的编译器,低成本地暴露潜在的对齐问题,从而进行大规模的对 LLM 对齐问题的研究,结果表明我们的方法在效果和效率上优于现有的破解技术。此外,我们的结果表明,现有的 LLMs 在嵌套世界和编程语言世界中存在极高的漏洞性,这暗示现有的对齐训练偏重于真实世界,对 LLMs 在各种(虚拟)世界中的潜在利用存在缺失。
Jan, 2024
该论文介绍了一个名为 “语言世界” 的元世界基准的扩展,该基准允许使用大型语言模型在模拟机器人环境中使用半结构化自然语言查询和使用自然语言描述的脚本技能。通过使用与元世界相同的任务集,可以轻松将语言世界的结果与元世界的结果进行比较,从而比较使用大型语言模型和使用深度强化学习的最新方法之间的差异。其次,该论文介绍了一种名为 “Plan Conditioned Behavioral Cloning” 的方法,该方法允许使用端到端演示来优化高级计划的行为。使用语言世界,我们展示了 PCBC 能够在各种少样本情况下实现强大的性能,通常只需要一个演示即可实现任务的泛化。我们已经将语言世界作为开源软件提供,链接为 https://URL。
Oct, 2023