Jan, 2022

pymdp：离散状态空间主动推理的 Python 库

PDF
TL;DR本研究介绍了 pymdp 这个 Python 包，它是开源的、可定制的并且能够模拟部分可观察的马尔可夫决策过程，实现了基于主动推理的认知行为分析，并取代了 MATLAB 的 DEM toolbox，以提高不同学科背景的研究人员和工程师对主动推理框架的接触和使用。
发现论文，激发创造
  • 深度主动推断用于部分可观测的马尔可夫决策过程

    本文介绍了一种基于 Deep Active Inference 的深度学习架构，结合 Variational Autoencoder 编码连续状态表示，可以直接从高维感觉输入中学习成功策略，并在 OpenAI 基准测试中证明其与深度强化学习算法：Deep Q-learning 相比具有相当或更好的性能。

    Sep, 2020

  • 离散时间主动推理的简明数学描述

    本文以简明的数学描述介绍了离散时间中的主动推断，并提供了例子和 Python 代码来说明动作选择机制。

    Jun, 2024

  • 使用 Monte-Carlo 方法的深度主动推理代理

    本文提出了一种建立在深度学习结构之上的主动推理智能体的神经架构，并使用多种形式的蒙特卡罗（MC）采样方法，从而使智能体在利用奖励进行任务时能够更加有效地学习环境动态和模拟未来状态转换。

    Jun, 2020

  • POMDP 中的策略指导的逻辑规范学习：归纳逻辑编程方法

    从 POMDP 执行的痕迹中学习得到高质量的启发式方法，通过转换为逻辑语义并利用数据和时间高效的归纳逻辑编程生成可解释的基于信念的策略规范，以在线方式引导 POMDP 求解器的行动选择过程。使用 Answer Set Programming (ASP) 表达的学习启发式方法展现了性能优于神经网络且与最佳手工设计的任务特定启发式方法相当的特点。

    Feb, 2024

  • 在局部观测下，结合信息寻求探索和奖励最大化：统一的连续状态和行动空间推断

    本研究提出了一种新的统一原理来实现信息寻求和奖励最大化，将主动推理与强化学习结合起来，不仅解决了各自的局限性，同时还具有超越传统方法的探索新颖奖励的性能。

    Dec, 2022

  • 基于深度主动推理的感知与规划学习

    本文将深度学习应用于 active inference 领域，借此学习状态空间以及近似必要的概率分布，以期实现对大脑的过程理论。

    Jan, 2020

  • 离散状态空间上的活跃推断综合

    本篇论文提供了关于 Active Inference 在离散状态空间模型中的完整数学综合，从基本原理推导神经动力学，并将此动力学与生物过程联系起来，是了解混合生成模型中的主动推理所需的基本构建块。

    Jan, 2020

  • POMDP 数据高效模型学习的变分推断

    本研究提出 DELIP 作为 POMDP 模型学习的方法，利用摊销结构化变分推理，模型结合最先进的规划器能够在不确定性环境下获得有效的控制策略。

    May, 2018

  • 深度主动推理与变分策略梯度

    该文章介绍了 Active Inference 的理论，探讨了将行动和规划转化为一个贝叶斯推理问题以最小化可变自由能的方法。 它提出了一种新颖的深度 Active Inference 算法，该算法通过使用深度神经网络作为灵活的函数逼近器来逼近关键密度，从而使 Active Inference 能够处理更大更复杂的任务，并展示了与强化学习的有趣关联。

    Jul, 2019

  • CAR-DESPOT: 机器人在混杂环境中基于因果推断的在线 POMDP 规划

    本文提出了使用因果建模和推理的新型持续时间在线部分可观测树规划器的因果知情扩展，以消除未测量混淆变量所引起的误差。同时，我们提出了一种离线学习因果模型的方法，用于规划。我们在一个具有未观察到混淆因素的玩具问题上评估了我们的方法，并表明所学习的因果模型非常准确，而我们的规划方法比 AR-DESPOT 更加抗干扰，并产生更高性能的策略。

    Apr, 2023