自由能原理的神经网络实现
本文介绍了自由能原理在大脑科学中的应用,结合视知觉、机器学习以及统计热力学等领域的理论,提供了一种生物学上可行的自由能实现方案的数学评估及其物理结构,旨在揭示自由能原理实现方案对大脑科学的重要性。
May, 2017
本文提出一种将目标自由能扰动(Targeted Free Energy Perturbation,TFEP)表示为机器学习问题的方法,该方法将映射参数化为神经网络,从而实现重叠的增加,测试结果表明相对于基线,该方法显著降低了自由能估计的方差而无需任何额外数据。
Feb, 2020
本文基于自由能原理,提出利用语言的组合结构进行有效推断。作者试图用最小搜索的方法解决语言形成的计算问题,并提出了一种新的语言设计原则 —— 图灵 - 乔姆斯基压缩。研究结果为理论语言学和心理语言学提供了实证基础。
Oct, 2022
这篇文章探讨了利用深度学习和人工智能设计和实现基于主动推断的人工智能代理,为主动推论框架提供新的视角和实际指南,对于对主动推论新手和想要研究自由能原理实现的深度学习从业者有启发作用。
Jul, 2022
本文介绍了 Active Inference (AIF) 作为 Free Energy Principle (FEP) 的一个结果,并给出了一个利用特定自由能泛函的局部版本的 FEP,使其适用于任意图形模型,为构建具有限制的平衡图提供了一种新的途径。同时,还介绍了利用 CFFG 实现 AIF 的先前算法,并介绍了一种允许 AIF 代理的直接策略推断的新算法,以解决长期以来阻碍 AIF 在工业应用中发挥作用的扩展问题。
Jun, 2023
Bayesian 脑理论探讨了大脑采用生成模型来理解外界世界。本研究提出了分层指数族能量模型(HEE 模型),用于捕捉推断和学习的动态。通过将分区函数分解为个别层,并利用一组具有较短时间常数的神经元来采样分解归一化项的梯度,我们的模型能够同时估计分区函数并执行推断,避免了常规能量模型中遇到的负相位问题。此外,我们展示神经适应可以作为动量项,显著加快推断过程,以适应大脑的快速计算。在自然图像数据集上,我们的模型展示出与生物视觉系统中观察到的相似表示。此外,对于机器学习社区,我们的模型可以通过联合或边缘生成产生观测数据。我们表明边缘生成优于联合生成,并且与其他能量模型的表现相当。
Oct, 2023
利用等变图神经网络的机器学习势能可以准确地模拟分子的能量和自由能态势,研究着重于探讨机器学习势能在考虑了分子构型的能量和多样性的情况下,准确预测自由能和转变态的能力。在对丁烷和丙二酸酰甘氨酰二肽进行 Metadynamics 模拟的基础上,我们检查了训练数据中集体变量(CVs)的分布对机器学习势能在确定系统的自由能态势上的准确性的影响。结果发现,对于丁烷,关键自由能态势区域的训练数据覆盖确保了模型的准确性,而对于丙二酸酰甘氨酰二肽,由经典分子动力学数据训练的模型明显不够准确,而基于从头算的机器学习势能在潜能能量预测上表现良好,但在自由能预测上表现不佳。本研究强调了对于准确自由能态势预测而言,组装全面的训练数据的挑战,并强调了理解自由能态势在准备训练数据时的重要性。研究指出了机器学习势能在自由能计算中的限制,强调了为有效模型训练需要涵盖系统的完整自由能态势的全面数据的必要性。
Mar, 2024
本文中,我们结合现代 Hopfield 网络作为注意力机制,扩展了基于平衡传播的模型在两个不同的自然语言处理任务(情感分析和自然语言推理)中的适用性,进一步理解基于能量的模型和开发解决复杂序列分类任务的解决方案。
Sep, 2022