这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络,该网络包含反馈和前馈连接,能够让相邻层次间逐渐优化表征以最小化预测误差,并在图像分类和对象识别等任务上获得了具有竞争力的性能。
May, 2018
本文主要针对预测编码理论进行理论分析,展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能,同时保持其独特的优点。
Jul, 2022
本文提出了一种新的学习算法,Deep Bi-directional Predictive Coding (DBPC),其允许开发网络同时使用相同的权重执行分类和重建任务。
May, 2023
提出深度预测编码网络,用于学习具有动态情境感知的表征学习,实现了高效的特征提取与局部不变性表示,同时具有良好的结构噪声适应能力。
Jan, 2013
本文介绍了 Active Predictive Coding Networks(APCNs),一种新的神经网络类别,用于解决神经网络如何学习对象的内在参考框架并将视觉场景解析为部分整体层次结构的主要问题。
Jan, 2022
本文介绍了一种新型的神经网络模型,它受到了流行的预测编码理论的启发,并结合了不同层次脑皮层以不同的频率振荡的理论。模型由一系列循环和卷积单元组成,上下两层流形式。该模型表现出更好的紧凑度和与现有作品相当的预测性能,表明较低的计算成本和更高的预测准确性。
Aug, 2022
通过建立一个具有预测编码特点的预测神经网络 (PredNet),本文探讨了将预测未来的视频帧作为无监督学习的规则来学习视觉世界结构的问题。 在对计算机生成的物体的运动进行鲁棒的学习的同时,也能够缩短学习视野并从中获得内部表示。此外,这种网络架构也能够将检测到的流和视觉场景中的物体运动进行深度学习,为估算自我位置提供支持。 综上所述,预测是无监督学习的强大框架之一,能够进行隐式的物体和场景结构学习。
May, 2016
回传误差算法已经成为深度学习成功的基础之一,而预测编码则利用局部学习,具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系,并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务上的潜在优势以及与控制理论的紧密联系和在机器人领域的应用。
Feb, 2022
本文研究了 Predictive Coding Networks 训练时出现的中途准确度急剧下降现象,发现它是由于每一层收敛速度出现不平衡所导致的,通过正则化每层的权重矩阵或者限制权重范围可以解决这一问题。
通过引入前馈卷积神经网络与反馈式局部循环连接设计,提高图像识别准确性,更加贴近灵长类动物视觉系统的神经活动,为当代物体识别任务的研究提供了新的思路。
Jun, 2018