时间预测编码的顺序记忆
本文提出 BayesPCN,一个具有层级结构的关联记忆,能够进行连续的一次性记忆写入,而无需元学习,并能逐渐遗忘过去的观察结果,以释放存储空间。实验表明,BayesPCN 能够回忆起数百到数千个时间步长以前观察到的损坏的高维数据,与现有的线下学习的参数记忆模型相比,不会出现大幅下降的召回能力。
May, 2022
本文主要针对预测编码理论进行理论分析,展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能,同时保持其独特的优点。
Jul, 2022
本文提出了一种关于预测编码的深度学习算法,将其解释为一种与误差反向传播不同的自适应信任域算法,并在浅层线性模型和深度网络实验中验证了该算法可以更快地逃离鞍点。
May, 2023
本研究提出了一种名为增量预测编码(iPC)的方法,通过并行执行每个操作来解决传统预测编码方法的低效性限制,实验证明 iPC 在图像分类任务上具有与反向传播相媲美的性能,适用于计算神经科学和机器学习等领域,尤其适用于分布式计算和模拟神经元芯片上的深度学习模型的实现。
Nov, 2022
本文提出了分层时序记忆(HTM)的序列记忆,使用无监督的 Hebbian-like 学习规则可以连续学习大量变序列。 HTM 序列记忆能够处理多元序列及预测,还具有连续的在线学习、处理多元及多分支序列的能力、传感器噪声稳健性和容错性等优点,可应用于离散和连续序列预测、异常检测和序列分类等多领域。
Dec, 2015
该论文介绍了一种新的框架 PSTA-TCN,该框架将并行时空关注机制与轴承温网络相结合,从而达到了更长的记忆,并且使用并行计算大大缩短了训练时间,可以更好地用于多元时间序列预测任务。
Mar, 2022
本文提出 Partial In-Network Training(PINning)方法,基于随机网络架构和少量的连接修改,实现突触交互和外部输入的协作而不是前馈或非对称连接,高效地产生神经序列和工作记忆,此方法能够匹配细胞分辨率成像数据,并暗示神经序列可能从较大结构的神经网络中学习而来。
Mar, 2016
探讨预测编码 (PC) 算法是否能替代误差反向传播算法 (backpropagation),研究发现当前 PC 算法的潜在能力受限于时间复杂度较大等问题。
Apr, 2023
人工智能(AI)是本世纪迅速发展的关键技术之一。然而,使用误差反向传播学习算法训练的深度神经网络在 AI 领域取得的大多数成果已经凸显出一些重要限制,例如计算成本高、难以量化不确定性、缺乏鲁棒性、不可靠性和生物不可行性。解决这些限制可能需要受到神经科学理论启发和指导的方案。其中一种理论称为预测编码(PC),在机器智能任务中表现出有希望的性能,具有令人兴奋的特性,对机器学习社区具有潜在价值:PC 可以模拟大脑不同区域的信息处理,可用于认知控制和机器人学,并具有基于变分推断的坚实数学基础,为某类连续状态生成模型提供了强大的反演方案。希望通过调研有助于这一方向的文献,突出展示 PC 在机器学习和计算智能的未来中可能发挥的多种作用。
Aug, 2023
该研究针对机器学习和认知神经科学中的中心课题提出了一种形式化的神经活动模型,该模型可以通过神经元集合的创建和操作实现某些简单的认知操作,并具有较强的泛化、鲁棒性和快速性,还可以捕捉时间和空间序列,实现通用计算。
Jun, 2023