Apr, 2023

基于结构信息原则的分层状态抽象

PDF
TL;DR本文提出了一种基于信息论的数学结构信息原则的状态抽象框架 SISA，该框架具有一种无监督的，自适应的层次状态聚类方法和一个优化编码树。与其他五种最先进的状态抽象方法相比，实验结果表明，SISA 可以有效地提高每轮回报和样本效率，且可灵活地与不同的表示学习目标相结合进一步提高性能。
state abstractionreinforcement learninghierarchical state clusteringencoding treeperformance improvement
发现论文，激发创造
  • 基于结构信息原则的有效强化学习

    该研究提出了一种基于结构信息原则的有效决策框架，通过信息论的视角，利用一种特定的无监督划分方法生成状态和动作的抽象表示，构建高效的转换图和编码树，引入了基于技能的学习机制，从而改善了单一智能体和多智能体强化学习算法的性能。

    Apr, 2024

  • 通过继承表征进行离散状态 - 行动抽象化

    本文提出了一种自动学习基于状态抽象的离散化模型，命名为 Discrete State-Action Abstraction (DSAA)，可以有效地解决强化学习中的任务，并且对探索方案的影响进行了模拟和验证。

    Jun, 2022

  • 使用逻辑状态抽象直接逼近 AIXI

    提出一种将逻辑状态抽象与 AIXI 相结合的实用方法，通过基于高阶逻辑的状态表示和推理框架，扩展了 AIXI 在复杂历史依赖和结构环境中的近似模型类，其特征是通过适当的抽象状态序列的语境树加权实现精确的贝叶斯模型学习，可与不同的规划算法相结合。实验结果表明，该智能体在控制大规模接触网络上的传染病方面表现良好。

    Oct, 2022

  • 关于信息结构在不完全可观察的序列团队与游戏中的增强学习的作用

    通过明确信息结构，我们提出了新的强化学习模型，捕捉了经典模型作为特例，以更丰富的方式分析顺序决策问题并实现更具针对性的算法设计。

    Mar, 2024

  • 变分时间抽象

    本文介绍了一种用于序列数据学习和推理的变分方法，即基于变分时间抽象（VTA）的分层循环状态空间模型，该模型能够推断潜在的时间结构并因此进行随机状态转换分层；同时本文还提出了将该模型应用于增强想象学习中的跳跃想象能力实现，并且实验验证表明本文提出的方法能够对 2D 和 3D 视觉序列数据集进行可解释性时间结构发现并且应用于多样化的想象能力可以有效提高 3D 导航任务中的智能体学习效率。

    Oct, 2019

  • 通过抽象学习：神经状态机

    本研究介绍了神经状态机（NSM），旨在构建神经和符号人工智能之间的桥梁，并整合它们的互补优势以执行视觉推理任务。该模型通过将视觉和语言模态转换为基于语义概念的表示，实现了显著的透明度和模块化，我们在 VQA-CP 和 GQA 两个最新的 VQA 数据集上进行了评估，取得了最新的成果。 所有情况的最好结果。

    Jul, 2019

  • 基于语言引导的状态抽象学习

    使用自然语言设计状态抽象来实现模仿学习的框架，该框架利用语言模型的背景知识和自然语言监督，自动构建针对未见任务的状态表示，并证明其提高了泛化性和稳健性，缩短了设计时间。

    Feb, 2024

  • 为强化学习引入子目标自动机

    本文提出 ISA，使用归纳逻辑程序设计帮助学习强化学习中的子目标，建立了可自我更新的自动机模型。实验证明，通过使用学习到的自动机进一步增强奖励调整和多任务迁移学习，ISA 能够在多种格局提供同样优秀的表现且对可观察事件数量的影响进行了分析。

    Nov, 2019

  • 强化学习中子目标自动机的归纳与利用

    ISA 是一种学习和利用强化学习中子目标的方法，通过交错强化学习和感知高级事件的子目标自动机的归纳来学习如何到达任务目标状态，该方法使用一种现有的逻辑编程系统，使这些子目标表示为基于常命题逻辑的逻辑公式，并保证了最少状态的自动机归纳和对称性破缺机制。在多个问题上的实验表明，该方法可用于学习成功的策略，并达到与人工预设子目标相当的平均奖励水平。

    Sep, 2020

  • 从马尔科夫转移数据中学习状态聚合

    本文提出了一个基于软聚合模型的简单算法，通过对系统轨迹的概率聚合图进行估计，可以获得显式形式的聚合分布和解聚分布，进而生成具有理解性的数据驱动状态聚合图。

    Nov, 2018