Aug, 2023

通过预测编码实现脑启发型计算智能

PDF
TL;DR人工智能（AI）是本世纪迅速发展的关键技术之一。然而，使用误差反向传播学习算法训练的深度神经网络在 AI 领域取得的大多数成果已经凸显出一些重要限制，例如计算成本高、难以量化不确定性、缺乏鲁棒性、不可靠性和生物不可行性。解决这些限制可能需要受到神经科学理论启发和指导的方案。其中一种理论称为预测编码（PC），在机器智能任务中表现出有希望的性能，具有令人兴奋的特性，对机器学习社区具有潜在价值：PC 可以模拟大脑不同区域的信息处理，可用于认知控制和机器人学，并具有基于变分推断的坚实数学基础，为某类连续状态生成模型提供了强大的反演方案。希望通过调研有助于这一方向的文献，突出展示 PC 在机器学习和计算智能的未来中可能发挥的多种作用。
artificial intelligencedeep neural networkspredictive codingmachine learningcomputational intelligence
发现论文，激发创造
  • 增量预测编码：并行和全自动学习算法

    本研究提出了一种名为增量预测编码（iPC）的方法，通过并行执行每个操作来解决传统预测编码方法的低效性限制，实验证明 iPC 在图像分类任务上具有与反向传播相媲美的性能，适用于计算神经科学和机器学习等领域，尤其适用于分布式计算和模拟神经元芯片上的深度学习模型的实现。

    Nov, 2022

  • 预测编码作为神经形态学替代反向传播的关键评估

    探讨预测编码 (PC) 算法是否能替代误差反向传播算法 (backpropagation)，研究发现当前 PC 算法的潜在能力受限于时间复杂度较大等问题。

    Apr, 2023

  • 预测编码：走向超越反向传播的深度学习未来？

    回传误差算法已经成为深度学习成功的基础之一，而预测编码则利用局部学习，具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系，并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务上的潜在优势以及与控制理论的紧密联系和在机器人领域的应用。

    Feb, 2022

  • 预测编码网络中的推理和学习的理论框架

    本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

    Jul, 2022

  • 理解预测编码作为自适应信任域方法

    本文提出了一种关于预测编码的深度学习算法，将其解释为一种与误差反向传播不同的自适应信任域算法，并在浅层线性模型和深度网络实验中验证了该算法可以更快地逃离鞍点。

    May, 2023

  • 脑科学和认知心理学发现综述作为通往人工智能广泛智能的灵感可能性

    该综述旨在通过研究神经科学和认知心理学的方法，为人工通用智能的追求做出贡献。尽管深度学习模型在各个领域取得了令人印象深刻的进展，但它们在抽象推理和因果理解方面仍然存在缺点。这些能力应该最终整合到人工智能系统中，以克服数据驱动的限制，并以更加接近人类智能的方式支持决策。本工作是一项纵向综述，试图广泛探索大脑功能的范围，包括从低层生物神经元、尖峰神经网络和神经元集合到更高层的概念，如脑解剖学、向量符号体系结构、认知和分类模型以及认知体系结构。希望这些概念能为人工通用智能的解决方案提供启示。

    Jan, 2024

  • 预测编码：理论和实验综述

    该论文提供了对预测编码理论的全面评估，包括其核心数学结构和逻辑以及在神经科学领域的实现和应用。该理论适用于皮层功能的统一解释，主张大脑的核心功能是通过一个世界的生成模型来减少与预测误差。

    Jul, 2021

  • 脑启发的机器智能：神经生物学可行的信用分配综述

    通过对受神经生物学启发或影响的人工神经网络中进行信用分配的算法的调查，我们提出了一个分类法，根据学习算法回答复杂自适应神经系统突触可塑性机制的核心问题的方式，整理了不断增长的大脑启发学习过程集合为六个通用家族，并在反向传播和其已知批评的背景下考虑了这些家族，结果旨在鼓励未来在神经仿真系统及其组成学习过程的发展，从而在机器学习、计算神经科学和认知科学之间建立良好的桥梁。

    Dec, 2023

  • 预测编码近似计算任意计算图上的反向传播

    研究发现，通过局部学习规则，预测编码可以渐近（且实际上很快）地收敛到任意计算图上的精确反向传播梯度，这使得标准机器学习算法理论上可以直接用神经电路实现，从而为分布式神经形态结构的开发做出了贡献。

    Jun, 2020

  • 神经组合计算：从认知中心的悖论到新一代人工智能系统

    通过使用神经组合计算的有限形式，人工智能系统正在变得更加强大、准确和易理解，而新的、更深层次的神经组合计算形式将进一步提高人工智能系统的表现。

    May, 2022