主动推断中的高效计算
研究指出,由于无法充分建模随机转换动态,特别是在计划期间评估广泛的策略空间时,计算实现大多受限于低维确定性设置。最近的进展提出了一种修改的规划算法,我们在此基础上评估了主动推理在随机控制环境中的效用,结果表明与强化学习相比,无论在确定性还是随机性环境中使用主动推理都具有优势。
Aug, 2021
通过动态规划,我们指的是人脑推断和施加与认知决策相关的运动轨迹的能力。最近的范式 —— 主动推断,为生物有机体的适应提供了基本见解,不断努力减小预测误差以限制在适合生活的状态中。在过去的几年中,许多研究表明,人类和动物行为可以用主动推断的过程来解释,无论是作为离散决策还是连续运动控制,这激发了机器人技术和人工智能领域的创新解决方案。然而,文献对于如何在不断变化的环境中有效规划行动仍缺乏全面的展望。本研究以建模工具使用为目标,深入探讨了主动推断中的动态规划主题,牢记生物目标导向行为的两个关键方面:理解和利用物体操纵的作用机会,以及学习自身与环境(包括其他代理者)之间的分层交互。我们从一个简单单元开始,逐渐描述更高级的结构,比较最近提出的设计选择,并为每个部分提供基本示例。本研究与传统的神经网络和强化学习的观点不同,指向主动推断中尚未开拓的方向:分层模型中的混合表示。
Feb, 2024
通过研究主动推理中基于计划和经验学习的两种决策方案,本文提出了一种混合模型,以平衡决策过程,并在挑战性的网格世界情景中评估了该模型的适应性,并分析了各种参数的演变,为智能决策提供了有价值的见解。
Mar, 2024
本文提出了一种建立在深度学习结构之上的主动推理智能体的神经架构,并使用多种形式的蒙特卡罗(MC)采样方法,从而使智能体在利用奖励进行任务时能够更加有效地学习环境动态和模拟未来状态转换。
Jun, 2020
基于自由能最小化原则的主动推理理论,提出了一个输出 - 概率、时间预测、模块化人工神经网络结构,能够处理感觉运动信息,推理与行为相关的世界方面,并调用高度灵活、目标导向的行为,其中包括利用形成的地形图灵活驾驶、避免障碍和选择通往目的地的路径。另外,研究表明该学习代理适用于进行零样本推广,适用于不同地形的环境。
Feb, 2022
通过比较 Sophisticated Inference(SI)算法和贝叶斯强化学习(RL)方案的性能,并扩展 Sophisticated Inference(SL)算法以更好地在规划中引入主动学习,本研究支持 Active Inference 方法在解决生物相关问题中的实用性,并提供了测试人类认知假设的额外工具。
Aug, 2023
本研究探讨了将主动推理应用于制造系统的节能控制代理的可能性,在这个新兴领域中,我们使用深度学习和主动推理决策框架相结合的方法,通过引入多步转换和混合视野方法来改进现有的代理架构。实验结果表明这些改进的有效性,并展示了基于主动推理的方法的潜力。
Jun, 2024
该论文研究了基于自由能原理的主动推理对机器学习中的强化学习和示范学习问题的解决,并将此概念应用于标准问题山车问题,结果表明主动推理可以涵盖强化学习和示范学习技术。
Apr, 2019