Jul, 2024

预测编码网络基准测试 —— 简易版

PDF
TL;DR在这项研究中，我们提出了一个名为 PCX 的库，旨在解决机器学习中预测编码网络的效率和可扩展性问题，并使用 PCX 实现了一系列用于实验的基准测试。我们通过广泛的基准测试和算法比较，展示了 PCX 的高效性，并指出了需要解决的潜在局限性，为解决该领域的主要开放问题之一 —— 可扩展性提供了基准。
发现论文，激发创造
  • 预测编码网络中的推理和学习的理论框架

    本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

    Jul, 2022

  • 增量预测编码：并行和全自动学习算法

    本研究提出了一种名为增量预测编码（iPC）的方法，通过并行执行每个操作来解决传统预测编码方法的低效性限制，实验证明 iPC 在图像分类任务上具有与反向传播相媲美的性能，适用于计算神经科学和机器学习等领域，尤其适用于分布式计算和模拟神经元芯片上的深度学习模型的实现。

    Nov, 2022

  • 深度预测编码网络在物体识别中的应用

    本研究利用预测编码理论设计了双向、递归的深度预测编码网络，在图像分类中具有较高性能表现，与其单向前馈模型相比，其性能随着递归周期的增加而提高，并逐步准确地识别物体。

    Feb, 2018

  • 具有局部循环处理的深度预测编码网络用于对象识别

    这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络，该网络包含反馈和前馈连接，能够让相邻层次间逐渐优化表征以最小化预测误差，并在图像分类和对象识别等任务上获得了具有竞争力的性能。

    May, 2018

  • 预测编码作为神经形态学替代反向传播的关键评估

    探讨预测编码 (PC) 算法是否能替代误差反向传播算法 (backpropagation)，研究发现当前 PC 算法的潜在能力受限于时间复杂度较大等问题。

    Apr, 2023

  • 双向传播的深度预测编码用于分类和重建

    本文提出了一种新的学习算法，Deep Bi-directional Predictive Coding (DBPC)，其允许开发网络同时使用相同的权重执行分类和重建任务。

    May, 2023

  • 理解预测编码作为自适应信任域方法

    本文提出了一种关于预测编码的深度学习算法，将其解释为一种与误差反向传播不同的自适应信任域算法，并在浅层线性模型和深度网络实验中验证了该算法可以更快地逃离鞍点。

    May, 2023

  • 通过预测编码实现脑启发型计算智能

    人工智能（AI）是本世纪迅速发展的关键技术之一。然而，使用误差反向传播学习算法训练的深度神经网络在 AI 领域取得的大多数成果已经凸显出一些重要限制，例如计算成本高、难以量化不确定性、缺乏鲁棒性、不可靠性和生物不可行性。解决这些限制可能需要受到神经科学理论启发和指导的方案。其中一种理论称为预测编码（PC），在机器智能任务中表现出有希望的性能，具有令人兴奋的特性，对机器学习社区具有潜在价值：PC 可以模拟大脑不同区域的信息处理，可用于认知控制和机器人学，并具有基于变分推断的坚实数学基础，为某类连续状态生成模型提供了强大的反演方案。希望通过调研有助于这一方向的文献，突出展示 PC 在机器学习和计算智能的未来中可能发挥的多种作用。

    Aug, 2023

  • 预测编码网络中分类准确度的预防措施

    本文研究了 Predictive Coding Networks 训练时出现的中途准确度急剧下降现象，发现它是由于每一层收敛速度出现不平衡所导致的，通过正则化每层的权重矩阵或者限制权重范围可以解决这一问题。

    Aug, 2022

  • 深度预测编码网络

    提出深度预测编码网络，用于学习具有动态情境感知的表征学习，实现了高效的特征提取与局部不变性表示，同时具有良好的结构噪声适应能力。

    Jan, 2013