通过预测编码进行因果推断
该论文提供了对预测编码理论的全面评估,包括其核心数学结构和逻辑以及在神经科学领域的实现和应用。该理论适用于皮层功能的统一解释,主张大脑的核心功能是通过一个世界的生成模型来减少与预测误差。
Jul, 2021
回传误差算法已经成为深度学习成功的基础之一,而预测编码则利用局部学习,具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系,并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务上的潜在优势以及与控制理论的紧密联系和在机器人领域的应用。
Feb, 2022
人工智能(AI)是本世纪迅速发展的关键技术之一。然而,使用误差反向传播学习算法训练的深度神经网络在 AI 领域取得的大多数成果已经凸显出一些重要限制,例如计算成本高、难以量化不确定性、缺乏鲁棒性、不可靠性和生物不可行性。解决这些限制可能需要受到神经科学理论启发和指导的方案。其中一种理论称为预测编码(PC),在机器智能任务中表现出有希望的性能,具有令人兴奋的特性,对机器学习社区具有潜在价值:PC 可以模拟大脑不同区域的信息处理,可用于认知控制和机器人学,并具有基于变分推断的坚实数学基础,为某类连续状态生成模型提供了强大的反演方案。希望通过调研有助于这一方向的文献,突出展示 PC 在机器学习和计算智能的未来中可能发挥的多种作用。
Aug, 2023
本研究提出了一种名为增量预测编码(iPC)的方法,通过并行执行每个操作来解决传统预测编码方法的低效性限制,实验证明 iPC 在图像分类任务上具有与反向传播相媲美的性能,适用于计算神经科学和机器学习等领域,尤其适用于分布式计算和模拟神经元芯片上的深度学习模型的实现。
Nov, 2022
提出了一种用于神经解码和脑预测的新模型 extsc {PredFT},它结合了主要解码网络和用于预测编码的辅助网络,并通过交叉注意力将脑预测编码表示融入主要解码网络以促进语言模型的生成过程。在最大 BLEU-1 分数为 27.8% 的自然语言理解 fMRI 数据集 Narratives 上进行了实验,取得了当前最先进的解码性能。
May, 2024
提出了一种新的预测编码框架,称为主动预测编码,利用超网络、自监督学习和强化学习来学习层次化的世界模型,并成功解决了细分视觉和复杂动作序列组合等多个问题。
Oct, 2022
研究发现,通过局部学习规则,预测编码可以渐近(且实际上很快)地收敛到任意计算图上的精确反向传播梯度,这使得标准机器学习算法理论上可以直接用神经电路实现,从而为分布式神经形态结构的开发做出了贡献。
Jun, 2020
从计算认知模型中提取变化的潜在变量是模型基础神经分析的关键步骤,我们提出了一种方法,通过递归神经网络和模拟数据集,将神经贝叶斯估计扩展到学习实验数据和目标潜在变量空间之间的直接映射,从而在可处理和难度较大的模型中推断潜在变量序列,该方法适用于不同的计算模型和连续离散潜在空间,并在实际数据集中证明了其适用性。
Jun, 2024
该研究探讨了从高维数据中学习因果表示的挑战性问题,并引入了一种基于潜变量解码器模型的贝叶斯因果发现方法,在半监督和无监督的情况下进行了实验,表明使用已知的干预目标能够帮助结构和参数的无监督贝叶斯推断。
Jul, 2022