研究提出了一种基于预测编码（PC）的时间预测编码（tPC）模型，它可以通过生物学上可行的神经实现精确地记忆和检索连续的输入，tPC 具有一个隐含的统计白化过程，可以更稳定地处理结构化输入流，并且在多层结构下编码了上下文依赖信息，从而区分出现在序列中的重复元素，这种计算被归功于海马体。

May, 2023

本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

Jul, 2022

本研究利用预测编码理论设计了双向、递归的深度预测编码网络，在图像分类中具有较高性能表现，与其单向前馈模型相比，其性能随着递归周期的增加而提高，并逐步准确地识别物体。

Feb, 2018

本文提出了一种新的学习算法，Deep Bi-directional Predictive Coding (DBPC)，其允许开发网络同时使用相同的权重执行分类和重建任务。

May, 2023

这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络，该网络包含反馈和前馈连接，能够让相邻层次间逐渐优化表征以最小化预测误差，并在图像分类和对象识别等任务上获得了具有竞争力的性能。

May, 2018

本文提出了一种关于预测编码的深度学习算法，将其解释为一种与误差反向传播不同的自适应信任域算法，并在浅层线性模型和深度网络实验中验证了该算法可以更快地逃离鞍点。

May, 2023

通过信息理论的角度研究连接主义模型（如神经网络）的灾难性遗忘问题，提出连续学习方法是在压缩中 Bayesian 混合编码和最大似然（ML）插入编码的近似，并比较其性能和限制，最终提出了一种结合了 ML 插入和 Bayesian 混合编码的新的连续学习方法。

Jun, 2020

本文介绍了 Active Predictive Coding Networks（APCNs），一种新的神经网络类别，用于解决神经网络如何学习对象的内在参考框架并将视觉场景解析为部分整体层次结构的主要问题。

Jan, 2022

本研究通过使用 Hamiltonian Monte Carlo（HMC）来执行连续贝叶斯推理，并通过其样本拟合密度估计器将后验作为新任务的先验进行传播，从而检验了访问真实后验能否保证预防神经网络中的灾难性遗忘，并发现这种方法无法预防灾难性遗忘，说明进行神经网络中的顺序贝叶斯推理的困难性。因此，提出了一种概率连续学习生成过程的贝叶斯模型，而非依赖于神经网络权重的顺序贝叶斯推理。此外，还提出了一个名为原型贝叶斯连续学习的简单基线，可用于类增量连续学习视觉基准，与最先进的贝叶斯连续学习方法相竞争。

Jan, 2023

在当前深度学习时代，为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象，我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力，在我们的新颖元持续学习框架中，持续学习仅在统计模型中进行，而神经网络在原始数据和统计模型之间进行元学习，由于神经网络在持续学习过程中保持不变，它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能，而且具有出色的可伸缩性，由于我们的方法与领域和模型无关，因此可以应用于各种问题，并与现有模型架构轻松集成。

May, 2024