从语言中训练 RL 代理程序查询外部知识

ICMLMay, 2022

从语言中训练 RL 代理程序查询外部知识

Asking for Knowledge: Training RL Agents to Query External Knowledge Using Language

Iou-Jen Liu, Xingdi Yuan, Marc-Alexandre Côté, Pierre-Yves Oudeyer, Alexander G. Schwing

TL;DR本研究提出了基于非参数记忆、指针机制和情节式探索奖励的 AFK 代理，使其能够询问外部语言知识来帮助解决任务，大量实验证明 AFK 代理在挑战性的 Q-BabyAI 和 Q-TextWorld 环境中优于最近的基线。

Abstract

To solve difficult tasks, humans ask questions to acquire knowledge from external sources. In contrast, classical reinforcement learning agents lack such an ability and often resort to exploratory behavior. This is exacerbated as few present-day environments support querying for knowle

reinforcement learning external knowledge language q-babyai q-textworld

发现论文，激发创造

询问先行：通过提问实现对新环境的泛化

通过赋予 RL 智能体询问 “是 - 否” 问题的能力以理解其环境从而在新的时间扩展环境中实现更好的泛化性能，该文研究了 RL 算法解决时间扩展任务的挑战并观察到在 Mini-Grid 环境下训练的强化学习智能体在不同环境下的显著泛化性能提高。

Sep, 2022

分析一个主动问答机器人所学习到的语言

该文章分析了一个被训练使用强化学习的代理程序学到的语言，作为 ActiveQA 系统的组成部分。在这个系统中，问题回答被框架化为一项强化学习任务，代理学习重构用户问题以引出最佳答案。研究发现，代理程序并没有学习与语义相关的转换，而是通过学习传统的信息检索技术（如 tf-idf 重新加权和词干化）来适应回答系统的语言。

Jan, 2018

Just Ask: 视觉与语言导航的交互学习框架

本文提出了一个交互式学习框架以及多种学习方法应对视觉和语言导航任务中出现的模糊情况，引入强化学习并设计奖励塑形项使智能体仅在必要时提问，同时展示了持续学习策略的有效性。

Dec, 2019

互动文本游戏的知识增强代理

该文提出了一种通过注入领域知识的方式来改善基于文本游戏中的智能代理的实现过程，并考虑了多种不同的注入策略，包括知识图谱和输入编码策略的增强，实验结果在 ScienceWorld 文本游戏环境中得到证明。

May, 2023

问对问题：强化学习的主动问题重构

本文介绍了一种称为 Active Question Answering 的基于强化学习的问题回答方法，通过探究黑盒 QA 系统并最大化回答质量来重新构筑问题，该方法在 Jeopardy! 等复杂问题数据集上表现出比其他基准模型更好的性能，并发现了与信息检索技术类似的策略。

May, 2017

问答式交互语言学习

该论文提出了一种基于交互的文本问答任务 QAit，通过使用基于深度强化学习的智能体与部分可观察的文本环境交互来获取答案所需的信息，提高了机器阅读系统在问答任务中的表现。

Aug, 2019

知识驱动强化学习

本文提出一种名为知识引导强化学习（KGRL）的框架，该框架采用一种基于嵌入式的注意机制，可以在训练和推理阶段中灵活地改编、重新排列和重复使用外部知识，使得 RL 智能体更受社会接受，并在离散和连续动作空间的任务中展现出更高的样本效率和可解释性。

Oct, 2022

通过强化学习来控制会话式搜索的风险

提出了一种风险感知的对话式搜索代理模型，平衡了回答用户查询和提出澄清问题的风险，并通过强化学习策略在 MSDialog 数据集上得到了比非风险感知基线更好的结果。

Jan, 2021

使用知识图谱进行深度强化学习的迁移学习

该研究探讨了使用知识图谱作为域知识传输的表示来训练文本冒险游戏中的强化学习智能体的方法，测试其在多个游戏上的迁移学习能力，结果表明这种方法能够更快地学习高质量的控制策略。

Aug, 2019

基于知识图谱的对话问答强化学习

使用强化学习方法解决基于法律知识库的多轮问答中输入问题含糊不清的问题，测试结果证明了该方法的有效性。

Jan, 2024