应用于交互小说的深度强化学习算法改进

AAAINov, 2019

应用于交互小说的深度强化学习算法改进

Algorithmic Improvements for Deep Reinforcement Learning applied to Interactive Fiction

Vishal Jain, William Fedus, Hugo Larochelle, Doina Precup, Marc G. Bellemare

TL;DR本文研究利用深度强化学习算法可玩具有组合性、稀疏奖励、有部分可观察性的文本游戏。提出了基于累积奖励的上下文化机制，缓解了部分可观测性，研究了可行动作的不同方法，并在一系列不同难度的文本游戏和 Zork 游戏中进行了实证研究，结果表明这些技术提高了基于文本游戏的深度强化学习代理的性能。

Abstract

text-based games are a natural challenge domain for deep reinforcement learning algorithms. Their state and action spaces are combinatorially large, their reward function is sparse, and they are partially observable: the agent is informed of the consequences of its actions through text

deep reinforcement learning text-based games partial observability accumulated rewards admissible actions

发现论文，激发创造

使用深度强化学习的基于文本游戏的语言理解

本文探讨了基于文本的游戏控制策略的学习方法。该方法使用深度强化学习框架，联合学习游戏状态表示和行动策略。通过把文本转化为向量，能够更好地捕捉游戏状态的语义表示。实验结果表明，我们提出的方法显著优于传统基于词袋模型的方法。

Jun, 2015

基于图形的深度强化学习玩文本冒险游戏

本文介绍了一种基于深度强化学习的架构，将游戏状态表示为知识图谱，通过剪枝动作空间和转移学习等技术实现了更高效的探索和学习，通过测试表明，此技术可在 TextWorld 平台上更快地学习控制策略。

Dec, 2018

感知世界：针对基于文本游戏的问题引导强化学习

本研究探讨了深度强化学习在文本游戏中的应用，提出了通过引入知觉模块以及使用两阶段训练框架来提高样本效率，从而解决了应用 DRL 的两个主要挑战。实验结果表明，提出的方法显着提高了性能和样本效率，并且对复合错误和数据有限的预训练表现出鲁棒性。

Mar, 2022

基于文本游戏的语言扩展

本文探讨了使用基于深度强化学习的代理人在多个基于文本的游戏中进行学习，并通过策略蒸馏方法扩展其词汇，并将文本游戏用作测试平台以更详细地分析和理解策略蒸馏方法的应用。

May, 2018

基于探索的基于文本游戏的语言学习

本文介绍一种采用探索和模仿学习的代理程序，能够在玩基于文本的电脑游戏时表现出最先进的性能。该方法使用 Go-Explore 探索方法以及模仿学习策略去训练模型，实现了更高效的解决文本游戏和更强的泛化能力。

Jan, 2020

通过分层强化学习在基于文本的游戏中实现泛化

本文介绍了一种基于知识图谱的 RL 代理的层次化框架，通过在高层次执行元策略将整个游戏分解为一组由文本目标指定的子任务，并通过知识图谱选择其中一个，然后在低层次执行子策略进行目标条件强化学习，实验结果表明，所提出的方法具有较好的泛化性能。

Sep, 2021

文本游戏中的指令跟随学习

研究文本游戏在强化学习环境下的指令正确率，设计使用 Linear Temporal Logic 结构化语言支持时间上下文语义的指令，通过文字游戏的实验验证该结构化语言指令的有效性和优越性。

Nov, 2022

互动文本游戏的知识增强代理

该文提出了一种通过注入领域知识的方式来改善基于文本游戏中的智能代理的实现过程，并考虑了多种不同的注入策略，包括知识图谱和输入编码策略的增强，实验结果在 ScienceWorld 文本游戏环境中得到证明。

May, 2023

基于层叠分层注意力的深度强化学习在基于文本的游戏中的应用

本文研究了强化学习在基于文本的游戏中的应用，提出了利用知识图谱进行明确推理的方法，并通过分层注意机制构建了推理过程的显式表示，实验结果表明该方法优于现有的基于文本的代理人。

Oct, 2020

使用自然语言行动空间的深度强化学习

本文介绍了一种新的强化学习体系架构，它是专门设计用于处理自然语言状态和动作空间，适用于文本类型游戏。该体系架构称为深度强化相关网络（DRRN），可以将动作和状态空间表示为独立的嵌入向量，并通过交互函数与 Q 函数一起拟合以实现强化学习。在两个受欢迎的文本游戏上对 DRRN 进行评估，表现优于其他深度 Q 学习体系架构。对具有不同措辞的动作描述进行的实验表明，该模型在提取意义而非仅仅是记忆文本串方面表现出色。

Nov, 2015