深度主动推理与变分策略梯度

Jul, 2019

Deep Active Inference as Variational Policy Gradients

Beren Millidge

TL;DR该文章介绍了 Active Inference 的理论，探讨了将行动和规划转化为一个贝叶斯推理问题以最小化可变自由能的方法。它提出了一种新颖的深度 Active Inference 算法，该算法通过使用深度神经网络作为灵活的函数逼近器来逼近关键密度，从而使 Active Inference 能够处理更大更复杂的任务，并展示了与强化学习的有趣关联。

Abstract

active inference is a theory of action arising from neuroscience which casts action and planning as a bayesian inference problem to be sol

active inference neuroscience bayesian inference deep neural networks reinforcement learning

发现论文，激发创造

用深度主动推理技术实现自主机器人导航

本文介绍了活跃推理的理论，并利用深度学习的最新进展，构建能够处理高维传感器数据并进行主动推理的复杂生成模型，这是深度主动推理在真实世界机器人导航任务中的首次应用。

Mar, 2020

深度主动推断用于部分可观测的马尔可夫决策过程

本文介绍了一种基于 Deep Active Inference 的深度学习架构，结合 Variational Autoencoder 编码连续状态表示，可以直接从高维感觉输入中学习成功策略，并在 OpenAI 基准测试中证明其与深度强化学习算法：Deep Q-learning 相比具有相当或更好的性能。

Sep, 2020

基于深度主动推理的感知与规划学习

本文将深度学习应用于 active inference 领域，借此学习状态空间以及近似必要的概率分布，以期实现对大脑的过程理论。

Jan, 2020

使用 Monte-Carlo 方法的深度主动推理代理

本文提出了一种建立在深度学习结构之上的主动推理智能体的神经架构，并使用多种形式的蒙特卡罗（MC）采样方法，从而使智能体在利用奖励进行任务时能够更加有效地学习环境动态和模拟未来状态转换。

Jun, 2020

主动推理的扩展

本研究通过在高维任务上实施主动推理，证明了该方法的可行性，并展现了主动推理与强模型无关基线的样本效率的数量级提升和操作同质性。

Nov, 2019

深度主动推理的解构

本文介绍了基于主动推理的深度强化学习理论，利用 Monte-Carlo 搜索和深度学习扩展此框架，实现更复杂任务的解决，实验表明，除了最后一层的 critic network 以及转移和编码器网络的方差层，将期望自由能最小化的主动推理代理与将奖励最大化的代理的学习表示相似，但前者会因动作选择一直选择下方而无法收集足够多的数据，与后者相比差异在于双方的认知价值。

Mar, 2023

使用主动推理的贝叶斯策略选择

该论文研究了基于自由能原理的主动推理对机器学习中的强化学习和示范学习问题的解决，并将此概念应用于标准问题山车问题，结果表明主动推理可以涵盖强化学习和示范学习技术。

Apr, 2019

复杂推理

该研究论文讨论了采用递归形式的期望自由能的先进主动推断方法，通过对信念状态的序列进行搜索解决了探索与开发的问题，并验证了该算法在深度决策问题上的能力。

Jun, 2020

离散状态空间上的活跃推断综合

本篇论文提供了关于 Active Inference 在离散状态空间模型中的完整数学综合，从基本原理推导神经动力学，并将此动力学与生物过程联系起来，是了解混合生成模型中的主动推理所需的基本构建块。

Jan, 2020

使用张量网络学习主动推理的生成模型

本文提出了一种使用量子物理启发的张量网络学习状态空间，进而将其作为生成模型用于序列数据，通过这种方法可以获取信念并计算预期自由能，最后我们在 T 型迷宫环境中进行了演示。

Aug, 2022