CogDPM: 利用认知预测编码实现的扩散概率模型

May, 2024

CogDPM: 利用认知预测编码实现的扩散概率模型

CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding

Kaiyuan Chen, Xingzhuo Guo, Yu Zhang, Jianmin Wang, Mingsheng Long

TL;DR预测编码是认知科学中的一个理论框架，该研究引入了认知扩散概率模型（CogDPM）来展示扩散概率模型和预测编码理论之间的联系，通过使用精度加权机制估计数据可预测性，CogDPM 在实际预测任务中表现出更为出色的性能。

Abstract

predictive coding (PC) is a theoretical framework in cognitive science suggesting that the human brain processes cognition through spatiotemporal prediction of the visual world. Existing studies have developed spatiotemporal prediction neural networks based on the PC theory, emulating

predictive coding spatiotemporal prediction precision weighting mechanism cognitive diffusion probabilistic models data predictability

发现论文，激发创造

预测编码网络中的推理和学习的理论框架

本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

Jul, 2022

双向传播的深度预测编码用于分类和重建

本文提出了一种新的学习算法，Deep Bi-directional Predictive Coding (DBPC)，其允许开发网络同时使用相同的权重执行分类和重建任务。

May, 2023

理解预测编码作为自适应信任域方法

本文提出了一种关于预测编码的深度学习算法，将其解释为一种与误差反向传播不同的自适应信任域算法，并在浅层线性模型和深度网络实验中验证了该算法可以更快地逃离鞍点。

May, 2023

增量预测编码：并行和全自动学习算法

本研究提出了一种名为增量预测编码（iPC）的方法，通过并行执行每个操作来解决传统预测编码方法的低效性限制，实验证明 iPC 在图像分类任务上具有与反向传播相媲美的性能，适用于计算神经科学和机器学习等领域，尤其适用于分布式计算和模拟神经元芯片上的深度学习模型的实现。

Nov, 2022

通过预测编码实现脑启发型计算智能

人工智能（AI）是本世纪迅速发展的关键技术之一。然而，使用误差反向传播学习算法训练的深度神经网络在 AI 领域取得的大多数成果已经凸显出一些重要限制，例如计算成本高、难以量化不确定性、缺乏鲁棒性、不可靠性和生物不可行性。解决这些限制可能需要受到神经科学理论启发和指导的方案。其中一种理论称为预测编码（PC），在机器智能任务中表现出有希望的性能，具有令人兴奋的特性，对机器学习社区具有潜在价值：PC 可以模拟大脑不同区域的信息处理，可用于认知控制和机器人学，并具有基于变分推断的坚实数学基础，为某类连续状态生成模型提供了强大的反演方案。希望通过调研有助于这一方向的文献，突出展示 PC 在机器学习和计算智能的未来中可能发挥的多种作用。

Aug, 2023

收缩扩散概率模型

扩散概率模型（DPM）是生成模型中一种有前途的技术，在时间反转的马尔科夫扩散过程和得分匹配的基础上取得成功。然而，鉴于得分匹配可能存在问题，我们提出了一种新的设计 DPMs 的准则 —— 反向采样的压缩，从而构建了一类新型的压缩 DPMs（CDPMs）。该方法通过在反向过程中进行压缩，减小了得分匹配错误和离散化误差，使得 CDPMs 在错误源方面具有鲁棒性。理论结果和实验证实了我们的提议，值得注意的是，在 CIFAR-10 数据集上，压缩子变差保持（sub-VP）表现最好。

Jan, 2024

曲率敏感的预测编码及其近似拉普拉斯蒙特卡洛实现

通过将预测编码视为拉普拉斯近似下的变分贝叶斯算法，我们发现其目标函数中排除与之关联的 Hessian 项是其性能不佳的根源。借此，我们提出了三个主要贡献：提出了一个简单的蒙特卡罗估计证据下界，该证据下界依赖于从 Hessian 参数化的变分后验中进行采样；推导出了全 Hessian 矩阵的新型块对角线逼近；介绍了一种将我们的方法与标准预测编码相结合以进一步降低内存复杂度的算法。我们在图像基准数据集上评估了我们的方法训练的模型，并将其与标准预测编码框架进行了对比。我们的方法产生了更高的对数似然值和更好的样本，更好地捕获了数据生成分布的多样性。

Mar, 2023

预测编码作为神经形态学替代反向传播的关键评估

探讨预测编码 (PC) 算法是否能替代误差反向传播算法 (backpropagation)，研究发现当前 PC 算法的潜在能力受限于时间复杂度较大等问题。

Apr, 2023

基于扩散模型的脑驱动表示学习

运用扩散概率模型 (Denoising diffusion probabilistic models) 和条件自编码器构建的新方法，在分析与言语相关的脑电信号方面取得了令人瞩目的结果，优于传统机器学习算法和基准模型，显示出扩散概率模型在语音相关脑电信号分析中的潜力，这可能推动针对口头交流的脑机接口的重要进展。

Nov, 2023

预测编码：理论和实验综述

该论文提供了对预测编码理论的全面评估，包括其核心数学结构和逻辑以及在神经科学领域的实现和应用。该理论适用于皮层功能的统一解释，主张大脑的核心功能是通过一个世界的生成模型来减少与预测误差。

Jul, 2021