预测编码网络和推理学习:教程和调查
本研究利用预测编码理论设计了双向、递归的深度预测编码网络,在图像分类中具有较高性能表现,与其单向前馈模型相比,其性能随着递归周期的增加而提高,并逐步准确地识别物体。
Feb, 2018
这篇论文介绍了一种新的基于神经科学理论“预测编码”的神经网络,该网络包含反馈和前馈连接,能够让相邻层次间逐渐优化表征以最小化预测误差,并在图像分类和对象识别等任务上获得了具有竞争力的性能。
May, 2018
研究发现,通过局部学习规则,预测编码可以渐近(且实际上很快)地收敛到任意计算图上的精确反向传播梯度,这使得标准机器学习算法理论上可以直接用神经电路实现,从而为分布式神经形态结构的开发做出了贡献。
Jun, 2020
回传误差算法已经成为深度学习成功的基础之一,而预测编码则利用局部学习,具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系,并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务上的潜在优势以及与控制理论的紧密联系和在机器人领域的应用。
Feb, 2022
本文主要针对预测编码理论进行理论分析, 展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能, 同时保持其独特的优点。
Jul, 2022
本文研究了 Predictive Coding Networks 训练时出现的中途准确度急剧下降现象,发现它是由于每一层收敛速度出现不平衡所导致的,通过正则化每层的权重矩阵或者限制权重范围可以解决这一问题。
Aug, 2022
探讨预测编码(PC)算法是否能替代误差反向传播算法(backpropagation),研究发现当前PC算法的潜在能力受限于时间复杂度较大等问题。
Apr, 2023
本文提出了一种关于预测编码的深度学习算法,将其解释为一种与误差反向传播不同的自适应信任域算法,并在浅层线性模型和深度网络实验中验证了该算法可以更快地逃离鞍点。
May, 2023
人工智能(AI)是本世纪迅速发展的关键技术之一。然而,使用误差反向传播学习算法训练的深度神经网络在AI领域取得的大多数成果已经凸显出一些重要限制,例如计算成本高、难以量化不确定性、缺乏鲁棒性、不可靠性和生物不可行性。解决这些限制可能需要受到神经科学理论启发和指导的方案。其中一种理论称为预测编码(PC),在机器智能任务中表现出有希望的性能,具有令人兴奋的特性,对机器学习社区具有潜在价值:PC可以模拟大脑不同区域的信息处理,可用于认知控制和机器人学,并具有基于变分推断的坚实数学基础,为某类连续状态生成模型提供了强大的反演方案。希望通过调研有助于这一方向的文献,突出展示PC在机器学习和计算智能的未来中可能发挥的多种作用。
Aug, 2023
本研究解决了传统预测编码在高维结构推理问题中的表现不佳的问题。我们提出了一种新的预测编码算法——分而治之的预测编码(DCPC),该算法在保持生物学合理性的同时,尊重生成模型的相关性结构,并能够有效地更新模型参数。实验结果表明,DCPC在多个未被解决的问题上表现出更好的数值性能。
Aug, 2024