Apr, 2022

利用语言抽象和预训练表示进行语义探索

PDF
TL;DR本研究提出使用词汇和形象语言所构建的视觉和语言表示形式来加强强化学习的探索能力，实验证明这种方法可以改善在高维连续部分可观测空间中进行探索所遇到的问题，促进算法性能的提高。
reinforcement learningexplorationnatural languagevision-language representationsdeep rl algorithms
发现论文，激发创造
  • 利用语言抽象提高内在探索能力

    本文研究探讨使用自然语言作为一种通用媒介以提高强化学习领域中稀疏奖励的训练效果，通过与 AMIGo 和 NovelD 等竞争性内部探索基线进行直接扩展和比较，本研究探究语言能否优化现有的探索方法，其与非语言形式相比在 MiniGrid 和 MiniHack 环境套件的 13 项挑战任务中表现更好（提高了 47-85%）。

    Feb, 2022

  • 视觉语言模型为强化学习提供可提示的表示

    通过利用背景世界知识，人类能够快速学习新的行为方式。相比之下，强化学习训练的代理通常需要从零开始学习行为。因此，我们提出了一种新的方法，利用基于视觉语言模型（VLMs）的通用世界知识和可索引知识，这些模型在互联网规模的数据上进行预训练，用于实体强化学习。我们通过将 VLMs 用作可提示的表示方式来初始化策略：通过提示提供任务背景和辅助信息，这些嵌入基于视觉观察进行了接地，并编码了 VLM 的内部知识的语义特征。我们在 Minecraft 中的视觉复杂、长期的强化学习任务以及 Habitat 中的机器人导航任务上评估了我们的方法。我们发现，与从通用的非可提示图像嵌入训练的等效策略相比，我们基于通用 VLMs 提取的嵌入的训练策略表现更好。我们还发现，我们的方法优于遵循指令的方法，并与特定领域的嵌入方法效果相当。

    Feb, 2024

  • 抽象表征下的联合强化学习

    本文提出一种新的方法，通过共享基于低维学习的环境编码来明确地连接无模型和有模型的强化学习方法，该方法能够捕捉到总结性抽象，同时具有模块化的特点，因此具有良好的泛化能力和计算效率，并在较小的潜在状态空间中进行计划。此外，此方法还能恢复足够低维的环境表示，从而为可解释的人工智能、探索和迁移学习开辟了新的策略。

    Sep, 2018

  • 通过自然语言指导的语义探索提高深度强化学习的效率

    用检索式方法通过神经网络编码，选择性、高效地与 oracle 进行交互，并使用 oracle 的答案更新 agent 的策略和值函数，从而在强化学习任务中大幅提高效率。

    Sep, 2023

  • 学习潜在状态表示以加速探索

    通过先前的经验来学习有效的隐藏表示，以指示探索的区域，这对高维空间中的探索尤其有益。

    May, 2019

  • 语言即力：在强化学习中使用自然语言表示状态

    研究表明使用自然语言表征的强化学习代理比视觉代理更具鲁棒性，更快收敛，表现更好，展示出使用自然语言表征的好处。

    Oct, 2019

  • 使用典型表示的强化学习

    Proto-RL 是一种基于自我监督的框架，将表示学习与探索相结合，通过原型表示来实现，从而解决了强化学习中表示学习与探索之间的挑战，并在不带下游任务信息的环境中预训练这些任务无关的表示和原型，实现了一组困难的连续控制任务的最新下游策略学习。

    Feb, 2021

  • 全面神经符号视觉强化学习与语言解释

    该研究介绍了一种神经符号强化学习（Neuro-symbolic reinforcement learning，NS-RL）的框架，通过将视觉基础模型精简为可扩展的感知模块，可以同时学习结构化状态和符号策略，并使用大型语言模型生成简明易读的策略和决策解释，实验结果显示在九个 Atari 任务中，该方法相比现有的 NS-RL 方法获得显著的性能提升，并展示了策略和决策的解释。

    Mar, 2024

  • 基于语言引导的状态抽象学习

    使用自然语言设计状态抽象来实现模仿学习的框架，该框架利用语言模型的背景知识和自然语言监督，自动构建针对未见任务的状态表示，并证明其提高了泛化性和稳健性，缩短了设计时间。

    Feb, 2024

  • 从语言中学习不变语义表示，实现可扩展策略普适性

    该研究提出了一种新的方法 —— 元素随机化，通过一组具有随机元素的环境来从自然语言指令中提取任务相关的语义而不受环境影响，同时设计了一个层次化的策略，将子目标建议为语义不变的表示形式，可在长时间视角任务上表现出卓越的泛化性能并能够完成一次性任务。

    Jan, 2022