Feb, 2024

期望自由能的重新框架：四种表述和一个统一

PDF
TL;DR通过对单个根期望自由能定义的问题进行形式化，本文研究了两个设置，其中每个设置都有其自己的根期望自由能定义。在第一个设置中，尚未提出任何关于期望自由能的正当化，但所有公式都可以从中恢复出来。然而，在这个设置中，代理不能对观测进行任意先验偏好，只有与生成模型的似然映射相兼容的观测先验偏好的有限类才能赋予。在第二个设置中，已经知道根期望自由能定义的正当化，但该设置仅涵盖两种表达方式，即风险加上不确定性和熵加期望能量的表达方式。
发现论文，激发创造
  • 深度主动推理的解构

    本文介绍了基于主动推理的深度强化学习理论，利用 Monte-Carlo 搜索和深度学习扩展此框架，实现更复杂任务的解决，实验表明，除了最后一层的 critic network 以及转移和编码器网络的方差层，将期望自由能最小化的主动推理代理与将奖励最大化的代理的学习表示相似，但前者会因动作选择一直选择下方而无法收集足够多的数据，与后者相比差异在于双方的认知价值。

    Mar, 2023

  • 极简主动推理代理

    介绍了自由能原理与活动推断关键思想，并利用基于代理的模型进行模拟实验，以进一步探讨其在一维离散世界预测中的应用。

    Mar, 2015

  • 复杂推理

    该研究论文讨论了采用递归形式的期望自由能的先进主动推断方法，通过对信念状态的序列进行搜索解决了探索与开发的问题，并验证了该算法在深度决策问题上的能力。

    Jun, 2020

  • 知觉和行动的自由能原理：深度学习的视角

    这篇文章探讨了利用深度学习和人工智能设计和实现基于主动推断的人工智能代理，为主动推论框架提供新的视角和实际指南，对于对主动推论新手和想要研究自由能原理实现的深度学习从业者有启发作用。

    Jul, 2022

  • 自由能从何而来？

    通过分解主动推断的预期自由能 (EFE) 为外部价值和内部价值，来平衡探索和利用。本文研究 EFE 的数学起源及其与变分自由能的关系，发现探索行为并非简单的自由能最小化。我们提出了一种新的目标函数 —— 预期未来的自由能 (FEEF)，具有预期自由能的认知成分，同时具有预测和期望未来之间差异度的数学基础。

    Apr, 2020

  • 主动推理作为代理模型

    活动推理是一种规范性贝叶斯框架，能够模拟和建模智能代理行为，同时提供了对探索和利用之间的困境的原则性解决方案。

    Jan, 2024

  • 使用主动推理的贝叶斯策略选择

    该论文研究了基于自由能原理的主动推理对机器学习中的强化学习和示范学习问题的解决，并将此概念应用于标准问题山车问题，结果表明主动推理可以涵盖强化学习和示范学习技术。

    Apr, 2019

  • 主动推理的扩展

    本研究通过在高维任务上实施主动推理，证明了该方法的可行性，并展现了主动推理与强模型无关基线的样本效率的数量级提升和操作同质性。

    Nov, 2019

  • 仿真智能体的可支配性推断和主动运动控制

    基于自由能最小化原则的主动推理理论，提出了一个输出 - 概率、时间预测、模块化人工神经网络结构，能够处理感觉运动信息，推理与行为相关的世界方面，并调用高度灵活、目标导向的行为，其中包括利用形成的地形图灵活驾驶、避免障碍和选择通往目的地的路径。另外，研究表明该学习代理适用于进行零样本推广，适用于不同地形的环境。

    Feb, 2022

  • 实现综合性主动推理代理，第一部分：认识目标和图形化规范语言

    本文介绍了 Active Inference (AIF) 作为 Free Energy Principle (FEP) 的一个结果，并给出了一个利用特定自由能泛函的局部版本的 FEP，使其适用于任意图形模型，为构建具有限制的平衡图提供了一种新的途径。同时，还介绍了利用 CFFG 实现 AIF 的先前算法，并介绍了一种允许 AIF 代理的直接策略推断的新算法，以解决长期以来阻碍 AIF 在工业应用中发挥作用的扩展问题。

    Jun, 2023