预测编码网络中分类准确度的预防措施

MMAug, 2022

预测编码网络中分类准确度的预防措施

Preventing Deterioration of Classification Accuracy in Predictive Coding Networks

Paul F Kinghorn, Beren Millidge, Christopher L Buckley

TL;DR本文研究了 Predictive Coding Networks 训练时出现的中途准确度急剧下降现象，发现它是由于每一层收敛速度出现不平衡所导致的，通过正则化每层的权重矩阵或者限制权重范围可以解决这一问题。

Abstract

predictive coding networks (PCNs) aim to learn a generative model of the world. Given observations, this generative model can then be inve

predictive coding networks generative model inference accuracy regularization weight matrices

发现论文，激发创造

预测编码网络中的推理和学习的理论框架

本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

Jul, 2022

具有局部循环处理的深度预测编码网络用于对象识别

这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络，该网络包含反馈和前馈连接，能够让相邻层次间逐渐优化表征以最小化预测误差，并在图像分类和对象识别等任务上获得了具有竞争力的性能。

May, 2018

深度预测编码网络在物体识别中的应用

本研究利用预测编码理论设计了双向、递归的深度预测编码网络，在图像分类中具有较高性能表现，与其单向前馈模型相比，其性能随着递归周期的增加而提高，并逐步准确地识别物体。

Feb, 2018

双向传播的深度预测编码用于分类和重建

本文提出了一种新的学习算法，Deep Bi-directional Predictive Coding (DBPC)，其允许开发网络同时使用相同的权重执行分类和重建任务。

May, 2023

主动预测编码网络：解决学习参考框架和部分整体层次的神经方案

本文介绍了 Active Predictive Coding Networks（APCNs），一种新的神经网络类别，用于解决神经网络如何学习对象的内在参考框架并将视觉场景解析为部分整体层次结构的主要问题。

Jan, 2022

深度预测编码网络

提出深度预测编码网络，用于学习具有动态情境感知的表征学习，实现了高效的特征提取与局部不变性表示，同时具有良好的结构噪声适应能力。

Jan, 2013

理解预测编码作为自适应信任域方法

本文提出了一种关于预测编码的深度学习算法，将其解释为一种与误差反向传播不同的自适应信任域算法，并在浅层线性模型和深度网络实验中验证了该算法可以更快地逃离鞍点。

May, 2023

通过惩罚局部预测能力学习稳健的全局表示

本文提出了一种训练且具有鲁棒性的卷积神经网络的方法，通过惩罚较早层所学习的局部表示的预测能力，迫使网络丢弃色彩和纹理等可从局部感受野中获取的预测信号，并依靠图像的全局结构。在一系列综合性和基准领域适应任务中，我们的方法使泛化能力得到了改善。我们还引入了一个新的数据集 ImageNet-Sketch，以评估跨域传输。

May, 2019

正一致性训练：朝着无回归模型更新的方向

本文提出了一种名为 Focal Distillation 的方法，该方法利用 PC 训练减少了负的预测错误，并最大化地维护了与参考模型的一致性。

Nov, 2020

预测编码作为神经形态学替代反向传播的关键评估

探讨预测编码 (PC) 算法是否能替代误差反向传播算法 (backpropagation)，研究发现当前 PC 算法的潜在能力受限于时间复杂度较大等问题。

Apr, 2023