研究发现，通过局部学习规则，预测编码可以渐近（且实际上很快）地收敛到任意计算图上的精确反向传播梯度，这使得标准机器学习算法理论上可以直接用神经电路实现，从而为分布式神经形态结构的开发做出了贡献。

Jun, 2020

提出了一种基于预测处理理论的神经生成模型计算框架，通过构建神经元层次结构，预测邻居神经元的工作并根据预测与观测结果的差异更新神经元参数来训练模型，实验结果表明，该模型在多个基准数据集和度量标准上表现出色，并具有与功能类似的其他生成模型相媲美甚至优越的性能。

Dec, 2020

该论文提供了对预测编码理论的全面评估，包括其核心数学结构和逻辑以及在神经科学领域的实现和应用。该理论适用于皮层功能的统一解释，主张大脑的核心功能是通过一个世界的生成模型来减少与预测误差。

Jul, 2021

提出了一种混合的预测编码网络，通过描述单个目标函数的双重优化，以原则性地将迭代和摊销推理结合起来，并在在仿生神经结构中实现，将受益于摊销和迭代推理的优势，同时保持迭代推理方案的上下文敏感性，精度和采样效率，在视觉感知中提供了新的功能相关性视角，并提供了视觉现象的不同方面的新见解。

Apr, 2022

本文主要针对预测编码理论进行理论分析, 展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能, 同时保持其独特的优点。

Jul, 2022

通过将预测编码视为拉普拉斯近似下的变分贝叶斯算法，我们发现其目标函数中排除与之关联的Hessian项是其性能不佳的根源。借此，我们提出了三个主要贡献：提出了一个简单的蒙特卡罗估计证据下界，该证据下界依赖于从Hessian参数化的变分后验中进行采样；推导出了全Hessian矩阵的新型块对角线逼近；介绍了一种将我们的方法与标准预测编码相结合以进一步降低内存复杂度的算法。我们在图像基准数据集上评估了我们的方法训练的模型，并将其与标准预测编码框架进行了对比。我们的方法产生了更高的对数似然值和更好的样本，更好地捕获了数据生成分布的多样性。

Mar, 2023

探讨预测编码(PC)算法是否能替代误差反向传播算法(backpropagation)，研究发现当前PC算法的潜在能力受限于时间复杂度较大等问题。

Apr, 2023

人工智能（AI）是本世纪迅速发展的关键技术之一。然而，使用误差反向传播学习算法训练的深度神经网络在AI领域取得的大多数成果已经凸显出一些重要限制，例如计算成本高、难以量化不确定性、缺乏鲁棒性、不可靠性和生物不可行性。解决这些限制可能需要受到神经科学理论启发和指导的方案。其中一种理论称为预测编码（PC），在机器智能任务中表现出有希望的性能，具有令人兴奋的特性，对机器学习社区具有潜在价值：PC可以模拟大脑不同区域的信息处理，可用于认知控制和机器人学，并具有基于变分推断的坚实数学基础，为某类连续状态生成模型提供了强大的反演方案。希望通过调研有助于这一方向的文献，突出展示PC在机器学习和计算智能的未来中可能发挥的多种作用。

Aug, 2023

我们提出了一种新颖的算法，用于在通用深度生成模型中学习参数，该算法基于计算神经科学的预测编码(PC)框架。通过将高斯噪声注入PC推理过程，我们重新构想它作为过阻尼Langevin采样，从而实现对紧密证据下界(ELBO)的优化。我们通过将编码器网络纳入到我们的Langevin采样中，提供一个得到温和起步的改进的编码器自由训练方法，并测试了三种不同的目标。最后，为了增加对采样步长的鲁棒性，并减少对曲率的敏感性，我们验证了一种轻量级且易于计算的预条件形式，受到Riemann流形Langevin和SGD文献中的自适应优化器的启发。我们通过使用我们的技术和使用标准重参数化技巧的ELBO训练的模型进行训练，在许多指标上观察到我们的方法优于或与其性能相匹配，并且收敛迭代次数仅为其一部分。

Nov, 2023

综述文章介绍了预测编码网络（PCNs），特别将其置于现代机器学习方法中的背景下，并将预测编码（PC）作为一种多功能且有前景的框架，值得机器学习社区进一步研究。

Jul, 2024