Jan, 2022

主动预测编码网络：解决学习参考框架和部分整体层次的神经方案

PDF
TL;DR本文介绍了 Active Predictive Coding Networks（APCNs），一种新的神经网络类别，用于解决神经网络如何学习对象的内在参考框架并将视觉场景解析为部分整体层次结构的主要问题。
发现论文，激发创造
  • 主动预测编码：一种用于学习层次化世界模型以进行感知和规划的统一神经框架

    提出了一种新的预测编码框架，称为主动预测编码，利用超网络、自监督学习和强化学习来学习层次化的世界模型，并成功解决了细分视觉和复杂动作序列组合等多个问题。

    Oct, 2022

  • 深度预测编码网络在物体识别中的应用

    本研究利用预测编码理论设计了双向、递归的深度预测编码网络，在图像分类中具有较高性能表现，与其单向前馈模型相比，其性能随着递归周期的增加而提高，并逐步准确地识别物体。

    Feb, 2018

  • 具有局部循环处理的深度预测编码网络用于对象识别

    这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络，该网络包含反馈和前馈连接，能够让相邻层次间逐渐优化表征以最小化预测误差，并在图像分类和对象识别等任务上获得了具有竞争力的性能。

    May, 2018

  • 预测编码网络中的推理和学习的理论框架

    本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

    Jul, 2022

  • 深度预测编码网络用于视频预测和无监督学习

    通过建立一个具有预测编码特点的预测神经网络 (PredNet)，本文探讨了将预测未来的视频帧作为无监督学习的规则来学习视觉世界结构的问题。 在对计算机生成的物体的运动进行鲁棒的学习的同时，也能够缩短学习视野并从中获得内部表示。此外，这种网络架构也能够将检测到的流和视觉场景中的物体运动进行深度学习，为估算自我位置提供支持。 综上所述，预测是无监督学习的强大框架之一，能够进行隐式的物体和场景结构学习。

    May, 2016

  • 金字塔预测网络：基于预测编码理论的视觉帧预测模型

    本文介绍了一种新型的神经网络模型，它受到了流行的预测编码理论的启发，并结合了不同层次脑皮层以不同的频率振荡的理论。模型由一系列循环和卷积单元组成，上下两层流形式。该模型表现出更好的紧凑度和与现有作品相当的预测性能，表明较低的计算成本和更高的预测准确性。

    Aug, 2022

  • 深度预测编码网络

    提出深度预测编码网络，用于学习具有动态情境感知的表征学习，实现了高效的特征提取与局部不变性表示，同时具有良好的结构噪声适应能力。

    Jan, 2013

  • 自回归预测编码的语音生成预训练

    该研究探讨使用自回归预测编码（APC）进行生成式预训练学习，以学习有意义、不具体且可传递的语音表示，并经过三个语音应用程序的转移学习实验来验证和评估其效能。该方法不仅在所有 3 个任务上优于表面特征和其他流行的表示学习方法，而且还能够减少下游标注数据大小和模型参数。同时，使用 Transformers 来建模 APC 将优于使用递归神经网络（RNN）方法。

    Oct, 2019

  • 图像字幕和视觉问答自动解析网络

    提出了一种自动解析网络（APN），将概率图像模型（PGM）参数化为自注意层上的注意操作，以将稀疏假设合并到输入序列的分段中，从而提高基于 Transformer 的视觉语言系统的效率。

    Aug, 2021

  • 分层原型网络用于连续图表示学习

    本文提出一种基于原子特征提取器和分层原型网络的深度学习模型来解决连续扩展的图数据中面临的遗忘问题，并对其理论进行了证明，并在五个数据集上进行了实验验证。

    Nov, 2021