ICLRFeb, 2024

基于语言引导的状态抽象学习

PDF
TL;DR使用自然语言设计状态抽象来实现模仿学习的框架，该框架利用语言模型的背景知识和自然语言监督，自动构建针对未见任务的状态表示，并证明其提高了泛化性和稳健性，缩短了设计时间。
state abstractionsimitation learningnatural languagepolicy learningrobotic tasks
发现论文，激发创造
  • 偏好条件下的语言引导抽象

    使用语言模型查询来构建状态抽象，以捕捉机器人学习中人类偏好的变化和指导，通过在模拟实验、用户研究和移动操作任务中的应用来证明其有效性。

    Feb, 2024

  • 从语言中学习规划抽象化

    该论文提出了一个学习状态和动作抽象的框架，利用带有语言注释的示范数据来自动发现符号化和抽象化的动作空间，并在此基础上引出一个潜在的状态抽象。框架包括三个阶段：恢复对象级和动作概念，学习状态抽象、抽象动作的可行性和转移模型，以及对抽象动作应用低级策略。在推断过程中，框架首先根据潜在的转移和可行性函数制定抽象动作计划，然后利用低级策略优化高级计划。该框架可以泛化到涉及新颖对象实例和环境、未见过的概念组合以及需要较长规划范围的任务场景中。

    May, 2024

  • LanGWM: 语言引导的世界模型

    通过语言为鲁棒的动作选择增强状态抽象技术，利用语言为基础的视觉特征来改进强化学习中的世界模型学习，提高对于复杂任务中的视觉控制的推广性。

    Nov, 2023

  • AutoGuide: 大型语言模型代理的自动生成和选择状态感知指南

    通过提取蕴含于离线数据中的知识，AutoGuide 框架在大型语言模型的知识缺失问题上取得了重大突破，并通过提供与代理程序当前决策过程相关的有用知识，在顺序决策基准测试中大幅优于竞争的基于大型语言模型的基线模型。

    Mar, 2024

  • 学习抽象世界模型用于值保持规划和选项

    通过学习抽象 MDP（Markov 决策过程）来提高智能体在多任务环境中的决策和学习效率。

    Jun, 2024

  • 通过元学习用语言指导政策

    本文提出了一种交互式的任务规范问题形式，通过自然语言指令和一系列语言修正来引导自主代理获得新技能，实现快速获取新技能，显著优于直接非交互式指令跟随。

    Nov, 2018

  • 利用语言抽象和预训练表示进行语义探索

    本研究提出使用词汇和形象语言所构建的视觉和语言表示形式来加强强化学习的探索能力，实验证明这种方法可以改善在高维连续部分可观测空间中进行探索所遇到的问题，促进算法性能的提高。

    Apr, 2022

  • 样本高效强化学习的动态抽象表示学习

    本文介绍了一种新的从上至下的方法，用于在执行强化学习的同时构建状态抽象，动态计算一个基于 Q 值分散的抽象，结果表明，这种方法自动学习细调问题的抽象，具有较强的样本效率，并使强化学习代理明显优于现有方法。

    Oct, 2022

  • 通过抽象学习：神经状态机

    本研究介绍了神经状态机（NSM），旨在构建神经和符号人工智能之间的桥梁，并整合它们的互补优势以执行视觉推理任务。该模型通过将视觉和语言模态转换为基于语义概念的表示，实现了显著的透明度和模块化，我们在 VQA-CP 和 GQA 两个最新的 VQA 数据集上进行了评估，取得了最新的成果。 所有情况的最好结果。

    Jul, 2019

  • 文本环境中的强化学习智能体的语言引导探索

    通过使用预训练语言模型（称为 GUIDE）为强化学习代理（称为 EXPLORER）提供决策级别的指导，我们引入了 Language Guided Exploration（LGE）框架，并观察到 LGE 在具有挑战性的文本环境中显著优于传统强化学习代理、行为克隆和文本决策转换等先进方法。

    Mar, 2024