Apr, 2020

自由能从何而来？

PDF
TL;DR通过分解主动推断的预期自由能 (EFE) 为外部价值和内部价值，来平衡探索和利用。本文研究 EFE 的数学起源及其与变分自由能的关系，发现探索行为并非简单的自由能最小化。我们提出了一种新的目标函数 —— 预期未来的自由能 (FEEF)，具有预期自由能的认知成分，同时具有预测和期望未来之间差异度的数学基础。
expected free energyactive inferenceexplorationexploitationfeef
发现论文，激发创造
  • 期望自由能的重新框架：四种表述和一个统一

    通过对单个根期望自由能定义的问题进行形式化，本文研究了两个设置，其中每个设置都有其自己的根期望自由能定义。在第一个设置中，尚未提出任何关于期望自由能的正当化，但所有公式都可以从中恢复出来。然而，在这个设置中，代理不能对观测进行任意先验偏好，只有与生成模型的似然映射相兼容的观测先验偏好的有限类才能赋予。在第二个设置中，已经知道根期望自由能定义的正当化，但该设置仅涵盖两种表达方式，即风险加上不确定性和熵加期望能量的表达方式。

    Feb, 2024

  • 极简主动推理代理

    介绍了自由能原理与活动推断关键思想，并利用基于代理的模型进行模拟实验，以进一步探讨其在一维离散世界预测中的应用。

    Mar, 2015

  • 实现综合性主动推理代理，第一部分：认识目标和图形化规范语言

    本文介绍了 Active Inference (AIF) 作为 Free Energy Principle (FEP) 的一个结果，并给出了一个利用特定自由能泛函的局部版本的 FEP，使其适用于任意图形模型，为构建具有限制的平衡图提供了一种新的途径。同时，还介绍了利用 CFFG 实现 AIF 的先前算法，并介绍了一种允许 AIF 代理的直接策略推断的新算法，以解决长期以来阻碍 AIF 在工业应用中发挥作用的扩展问题。

    Jun, 2023

  • 实现合成主动推论代理，第二部分：变分信息更新

    该论文使用消息传递的方法，在因子图上最小化了主题中的自由能而产生了人工智能的行为。

    Jun, 2023

  • 深度主动推理的解构

    本文介绍了基于主动推理的深度强化学习理论，利用 Monte-Carlo 搜索和深度学习扩展此框架，实现更复杂任务的解决，实验表明，除了最后一层的 critic network 以及转移和编码器网络的方差层，将期望自由能最小化的主动推理代理与将奖励最大化的代理的学习表示相似，但前者会因动作选择一直选择下方而无法收集足够多的数据，与后者相比差异在于双方的认知价值。

    Mar, 2023

  • 复杂推理

    该研究论文讨论了采用递归形式的期望自由能的先进主动推断方法，通过对信念状态的序列进行搜索解决了探索与开发的问题，并验证了该算法在深度决策问题上的能力。

    Jun, 2020

  • 自由能原理的神经网络实现

    本文是关于自由能原理的计算模型和机器学习中的应用尝试，提出了使用经典的神经网络模型 Helmholtz 机连接自由能原理和机器学习，并通过实验验证了假设。

    Jun, 2023

  • 行动和感知的自由能原理：一个数学回顾

    本文介绍了自由能原理在大脑科学中的应用，结合视知觉、机器学习以及统计热力学等领域的理论，提供了一种生物学上可行的自由能实现方案的数学评估及其物理结构，旨在揭示自由能原理实现方案对大脑科学的重要性。

    May, 2017

  • 知觉和行动的自由能原理：深度学习的视角

    这篇文章探讨了利用深度学习和人工智能设计和实现基于主动推断的人工智能代理，为主动推论框架提供新的视角和实际指南，对于对主动推论新手和想要研究自由能原理实现的深度学习从业者有启发作用。

    Jul, 2022

  • 通过认识价值估计的探索

    本文提出了一种称为 epistemic value estimation (EVE) 的方法，用于有效探索在强化学习中的问题，EVE 方法适用于序列决策以及神经网络函数逼近器，利用其可计算的参数的后验概率，能够有效地计算出 epistemic value uncertainty 这一不确定性，经实验验证 EVE 方法有助于在困难的探索任务中实现有效的探索。

    Mar, 2023