实现合成主动推论代理,第二部分:变分信息更新
本文介绍了 Active Inference (AIF) 作为 Free Energy Principle (FEP) 的一个结果,并给出了一个利用特定自由能泛函的局部版本的 FEP,使其适用于任意图形模型,为构建具有限制的平衡图提供了一种新的途径。同时,还介绍了利用 CFFG 实现 AIF 的先前算法,并介绍了一种允许 AIF 代理的直接策略推断的新算法,以解决长期以来阻碍 AIF 在工业应用中发挥作用的扩展问题。
Jun, 2023
本研究通过系统性探索视觉 - 运动任务的一种方法,测试了主动推理框架的能力,该框架基于当代的神经科学,并通过基于奖励的学习产生像人类一样的行为。我们提出的神经主动推理代理模型使用人工神经网络来选择动作,以便根据它们将揭示的任务环境信息的非常短期预测和预期自由能的长期估计来选择动作,在代理人的运动能力受限时才出现预期的行为,并且只有当代理人能够足够长时间地预测未来的累积自由能时,预期行为才会出现,通过这些结果证明了 AIF 作为人类预期视觉引导行为的可信模型。
Nov, 2022
通过分解主动推断的预期自由能 (EFE) 为外部价值和内部价值,来平衡探索和利用。本文研究 EFE 的数学起源及其与变分自由能的关系,发现探索行为并非简单的自由能最小化。我们提出了一种新的目标函数 —— 预期未来的自由能 (FEEF),具有预期自由能的认知成分,同时具有预测和期望未来之间差异度的数学基础。
Apr, 2020
这篇文章探讨了利用深度学习和人工智能设计和实现基于主动推断的人工智能代理,为主动推论框架提供新的视角和实际指南,对于对主动推论新手和想要研究自由能原理实现的深度学习从业者有启发作用。
Jul, 2022
本文研究了如何通过具有局部 Hebbian 可塑性的脑启发式神经编码器来执行主动推断,进而控制动态智能体,并证明该方法在不需要重访过去经历的情况下,可以优于 Q-learning 等传统强化学习方法。
Jun, 2023
本文介绍了基于主动推理的深度强化学习理论,利用 Monte-Carlo 搜索和深度学习扩展此框架,实现更复杂任务的解决,实验表明,除了最后一层的 critic network 以及转移和编码器网络的方差层,将期望自由能最小化的主动推理代理与将奖励最大化的代理的学习表示相似,但前者会因动作选择一直选择下方而无法收集足够多的数据,与后者相比差异在于双方的认知价值。
Mar, 2023
通过对单个根期望自由能定义的问题进行形式化,本文研究了两个设置,其中每个设置都有其自己的根期望自由能定义。在第一个设置中,尚未提出任何关于期望自由能的正当化,但所有公式都可以从中恢复出来。然而,在这个设置中,代理不能对观测进行任意先验偏好,只有与生成模型的似然映射相兼容的观测先验偏好的有限类才能赋予。在第二个设置中,已经知道根期望自由能定义的正当化,但该设置仅涵盖两种表达方式,即风险加上不确定性和熵加期望能量的表达方式。
Feb, 2024