Oct, 2022

使用逻辑状态抽象直接逼近 AIXI

PDF
TL;DR提出一种将逻辑状态抽象与 AIXI 相结合的实用方法，通过基于高阶逻辑的状态表示和推理框架，扩展了 AIXI 在复杂历史依赖和结构环境中的近似模型类，其特征是通过适当的抽象状态序列的语境树加权实现精确的贝叶斯模型学习，可与不同的规划算法相结合。实验结果表明，该智能体在控制大规模接触网络上的传染病方面表现良好。
发现论文，激发创造
  • 蒙特卡罗 AIXI 近似

    本文介绍了一种基于贝叶斯优化概念的通用强化学习智能体的可扩展设计方法，提出了一种可行的 AIXI 智能体近似算法，并在随机和部分可观测领域上展示了一系列鼓舞人心的结果，最后提出了未来研究的方向。

    Sep, 2009

  • AIXI 近似强化学习

    本文介绍了一种可扩展的通用增强学习代理的设计方法，该方法基于对 AIXI 的直接逼近，利用 Monte Carlo Tree Search 算法和 Context Tree Weighting 算法的代理特定扩展得以实现，实验表明该算法在多个随机、未知和部分可观察的领域中表现良好。

    Jul, 2010

  • AIXI 智能体的动态知识注入

    通过引入一个名为 DynamicHedgeAIXI 的新代理实现对 AIXI 的贴切逼近，通过使用一种时间自适应优先级构建的贝叶斯混合模型，该代理在表示动态变化的模型集合时表现出良好性能，实验证实该代理在传染病控制方面的实际效用。

    Dec, 2023

  • 通过状态近似抽象实现近似最优行为

    本研究探讨了使用状态抽象来减轻计划和强化学习算法中的组合爆炸问题。我们研究了近似状态抽象的理论保证和在各种环境中的有效性。结果表明，使用近似抽象可以减少任务复杂度和行为最优性的损失。

    Jan, 2017

  • 基于语言引导的状态抽象学习

    使用自然语言设计状态抽象来实现模仿学习的框架，该框架利用语言模型的背景知识和自然语言监督，自动构建针对未见任务的状态表示，并证明其提高了泛化性和稳健性，缩短了设计时间。

    Feb, 2024

  • 递归 Q 学习的近似信息状态收敛分析

    该论文研究了强化学习算法中的一种非马尔可夫过程，提出了一种基于近似信息状态 (AIS) 的改进方法，展示了其比基线更好的表现和与 AIS 表示相关的性能变化。

    Jun, 2023

  • 基于状态抽象的近似探索

    研究强化学习中探索和近似之间的相互作用，提出一种基于密度建模的方法来改善探索，探讨伪计数奖励在此方法中的应用，发现了在其应用中可能存在的过度或不足探索问题，并提出一种新的伪计数奖励来缓解这些问题。

    Aug, 2018

  • MAXQ 层次强化学习中的状态抽象

    本篇论文研究了具有时间抽象的层次强化学习中的具有状态抽象的学习方法，证明了 MAXQ-Q 学习算法在一定的条件下收敛，并通过实验表明了状态抽象对 MAXQ-Q 学习的成功应用十分重要。

    May, 1999

  • 基于结构信息原则的分层状态抽象

    本文提出了一种基于信息论的数学结构信息原则的状态抽象框架 SISA，该框架具有一种无监督的，自适应的层次状态聚类方法和一个优化编码树。与其他五种最先进的状态抽象方法相比，实验结果表明，SISA 可以有效地提高每轮回报和样本效率，且可灵活地与不同的表示学习目标相结合进一步提高性能。

    Apr, 2023

  • 可计算人工通用智能

    提出一种基于经验的理论框架，称为 “实用弱点原则”，用于处理认知科学和人工智能中的主观性问题，并将其与 AIXI 进行比较，显示出在弱点最大化的情况下会取得最优的行为结果。

    May, 2022