深度预测编码网络
本研究利用预测编码理论设计了双向、递归的深度预测编码网络,在图像分类中具有较高性能表现,与其单向前馈模型相比,其性能随着递归周期的增加而提高,并逐步准确地识别物体。
Feb, 2018
这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络,该网络包含反馈和前馈连接,能够让相邻层次间逐渐优化表征以最小化预测误差,并在图像分类和对象识别等任务上获得了具有竞争力的性能。
May, 2018
本文介绍了一种新型的神经网络模型,它受到了流行的预测编码理论的启发,并结合了不同层次脑皮层以不同的频率振荡的理论。模型由一系列循环和卷积单元组成,上下两层流形式。该模型表现出更好的紧凑度和与现有作品相当的预测性能,表明较低的计算成本和更高的预测准确性。
Aug, 2022
提出了一种新的预测编码框架,称为主动预测编码,利用超网络、自监督学习和强化学习来学习层次化的世界模型,并成功解决了细分视觉和复杂动作序列组合等多个问题。
Oct, 2022
通过建立一个具有预测编码特点的预测神经网络 (PredNet),本文探讨了将预测未来的视频帧作为无监督学习的规则来学习视觉世界结构的问题。 在对计算机生成的物体的运动进行鲁棒的学习的同时,也能够缩短学习视野并从中获得内部表示。此外,这种网络架构也能够将检测到的流和视觉场景中的物体运动进行深度学习,为估算自我位置提供支持。 综上所述,预测是无监督学习的强大框架之一,能够进行隐式的物体和场景结构学习。
May, 2016
回传误差算法已经成为深度学习成功的基础之一,而预测编码则利用局部学习,具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系,并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务上的潜在优势以及与控制理论的紧密联系和在机器人领域的应用。
Feb, 2022
本文主要针对预测编码理论进行理论分析,展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能,同时保持其独特的优点。
Jul, 2022
本论文介绍了自监督学习,通过视频中的 Dense Predictive Coding (DPC) 框架形成具有密集的时空块的编码,利用课程训练方式预测未来,并在 Kinetics-400 数据集上进行实验,结果表明,DPC 的自监督预训练性能超过了以前的方法,并接近于在 ImageNet 上预先训练的基线。
Sep, 2019
本文通过自监督学习探索了多层对比预测编码 (CPC) 模型对语音的分层表示,提出了一种基于不均匀下采样的模型,通过聚焦负采样和量化目标等方法增强了其对深度、离散性的优化,从而在 speech recognition 任务上得到了更好的效果,同时也实现了语音信号的有效分割。
Jun, 2022
本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding,通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示,以此学习有用的表示并在语音,图像,文本和三维环境中的强化学习中实现了强大的表现。
Jul, 2018