使用主动推理的贝叶斯策略选择

Apr, 2019

Bayesian policy selection using active inference

Ozan Çatal, Johannes Nauta, Tim Verbelen, Pieter Simoens, Bart Dhoedt

TL;DR该论文研究了基于自由能原理的主动推理对机器学习中的强化学习和示范学习问题的解决，并将此概念应用于标准问题山车问题，结果表明主动推理可以涵盖强化学习和示范学习技术。

Abstract

Learning to take actions based on observations is a core requirement for artificial agents to be able to be successful and robust at their task. Reinforcement Learn-ing (RL) is a well-known technique for learning such policies. However, current RL algorithms often have to deal with reward shaping, have difficulties generalizing to other environments and are

发现论文，激发创造

极简主动推理代理

介绍了自由能原理与活动推断关键思想，并利用基于代理的模型进行模拟实验，以进一步探讨其在一维离散世界预测中的应用。

Mar, 2015

深度主动推理与变分策略梯度

该文章介绍了Active Inference的理论，探讨了将行动和规划转化为一个贝叶斯推理问题以最小化可变自由能的方法。它提出了一种新颖的深度Active Inference算法，该算法通过使用深度神经网络作为灵活的函数逼近器来逼近关键密度，从而使Active Inference能够处理更大更复杂的任务，并展示了与强化学习的有趣关联。

Jul, 2019

主动推理的扩展

本研究通过在高维任务上实施主动推理，证明了该方法的可行性，并展现了主动推理与强模型无关基线的样本效率的数量级提升和操作同质性。

Nov, 2019

强化学习与概率推断的理解

本研究因RL作为推理方法的短处而对其进行澄清，RL代理人必须考虑其行动对未来奖励和观察结果的影响，即探索和开发之间的权衡。我们证明了‘RL作为推理’近似在基本问题中表现不佳，但我们展示了通过小修正该框架可以获得可靠的算法，该算法与最近提出的K-learning等价，我们进一步将其与汤普森取样联系起来。

Jan, 2020

使用 Monte-Carlo 方法的深度主动推理代理

本文提出了一种建立在深度学习结构之上的主动推理智能体的神经架构，并使用多种形式的蒙特卡罗（MC）采样方法，从而使智能体在利用奖励进行任务时能够更加有效地学习环境动态和模拟未来状态转换。

Jun, 2020

知觉和行动的自由能原理：深度学习的视角

这篇文章探讨了利用深度学习和人工智能设计和实现基于主动推断的人工智能代理，为主动推论框架提供新的视角和实际指南，对于对主动推论新手和想要研究自由能原理实现的深度学习从业者有启发作用。

Jul, 2022

深度主动推理的解构

本文介绍了基于主动推理的深度强化学习理论，利用 Monte-Carlo 搜索和深度学习扩展此框架，实现更复杂任务的解决，实验表明，除了最后一层的 critic network 以及转移和编码器网络的方差层，将期望自由能最小化的主动推理代理与将奖励最大化的代理的学习表示相似，但前者会因动作选择一直选择下方而无法收集足够多的数据，与后者相比差异在于双方的认知价值。

Mar, 2023

主动推断中的高效计算

该论文提出了一种新的规划算法，通过动态规划算法实现了计算效率的大幅提升，并且简化了目标分布的制定，同时在不确定的条件下获得了准确的模型学习和规划。

Jul, 2023

主动推理作为代理模型

活动推理是一种规范性贝叶斯框架，能够模拟和建模智能代理行为，同时提供了对探索和利用之间的困境的原则性解决方案。

Jan, 2024

展示离散时间主动推理的持续学习能力及实际应用

本文针对主动推理在复杂动态环境中应用的研究空白，提出了一种基于主动推理的持续学习框架，允许代理自我学习和适应。通过数学公式推导，作者展示了该代理如何在不断变化的环境中高效重新学习并优化其模型，具有在金融和医疗等复杂领域的潜在应用价值。

Sep, 2024