深度主动推理的解构

Mar, 2023

Deconstructing deep active inference

Théophile Champion, Marek Grześ, Lisa Bonheme, Howard Bowman

TL;DR本文介绍了基于主动推理的深度强化学习理论，利用 Monte-Carlo 搜索和深度学习扩展此框架，实现更复杂任务的解决，实验表明，除了最后一层的 critic network 以及转移和编码器网络的方差层，将期望自由能最小化的主动推理代理与将奖励最大化的代理的学习表示相似，但前者会因动作选择一直选择下方而无法收集足够多的数据，与后者相比差异在于双方的认知价值。

Abstract

active inference is a theory of perception, learning and decision making, which can be applied to neuroscience, robotics, and machine learning. Recently, reasearch has been taking place to scale up this framework

active inference monte-carlo tree search deep learning reinforcement learning decision making

发现论文，激发创造

使用 Monte-Carlo 方法的深度主动推理代理

本文提出了一种建立在深度学习结构之上的主动推理智能体的神经架构，并使用多种形式的蒙特卡罗（MC）采样方法，从而使智能体在利用奖励进行任务时能够更加有效地学习环境动态和模拟未来状态转换。

Jun, 2020

复杂推理

该研究论文讨论了采用递归形式的期望自由能的先进主动推断方法，通过对信念状态的序列进行搜索解决了探索与开发的问题，并验证了该算法在深度决策问题上的能力。

Jun, 2020

知觉和行动的自由能原理：深度学习的视角

这篇文章探讨了利用深度学习和人工智能设计和实现基于主动推断的人工智能代理，为主动推论框架提供新的视角和实际指南，对于对主动推论新手和想要研究自由能原理实现的深度学习从业者有启发作用。

Jul, 2022

深度主动推理与变分策略梯度

该文章介绍了 Active Inference 的理论，探讨了将行动和规划转化为一个贝叶斯推理问题以最小化可变自由能的方法。它提出了一种新颖的深度 Active Inference 算法，该算法通过使用深度神经网络作为灵活的函数逼近器来逼近关键密度，从而使 Active Inference 能够处理更大更复杂的任务，并展示了与强化学习的有趣关联。

Jul, 2019

期望自由能的重新框架：四种表述和一个统一

通过对单个根期望自由能定义的问题进行形式化，本文研究了两个设置，其中每个设置都有其自己的根期望自由能定义。在第一个设置中，尚未提出任何关于期望自由能的正当化，但所有公式都可以从中恢复出来。然而，在这个设置中，代理不能对观测进行任意先验偏好，只有与生成模型的似然映射相兼容的观测先验偏好的有限类才能赋予。在第二个设置中，已经知道根期望自由能定义的正当化，但该设置仅涵盖两种表达方式，即风险加上不确定性和熵加期望能量的表达方式。

Feb, 2024

主动推理作为代理模型

活动推理是一种规范性贝叶斯框架，能够模拟和建模智能代理行为，同时提供了对探索和利用之间的困境的原则性解决方案。

Jan, 2024

使用主动推理的贝叶斯策略选择

该论文研究了基于自由能原理的主动推理对机器学习中的强化学习和示范学习问题的解决，并将此概念应用于标准问题山车问题，结果表明主动推理可以涵盖强化学习和示范学习技术。

Apr, 2019

极简主动推理代理

介绍了自由能原理与活动推断关键思想，并利用基于代理的模型进行模拟实验，以进一步探讨其在一维离散世界预测中的应用。

Mar, 2015

主动推理的扩展

本研究通过在高维任务上实施主动推理，证明了该方法的可行性，并展现了主动推理与强模型无关基线的样本效率的数量级提升和操作同质性。

Nov, 2019

用深度主动推理技术实现自主机器人导航

本文介绍了活跃推理的理论，并利用深度学习的最新进展，构建能够处理高维传感器数据并进行主动推理的复杂生成模型，这是深度主动推理在真实世界机器人导航任务中的首次应用。

Mar, 2020