学习生成模型的神经编码框架

Dec, 2020

The Neural Coding Framework for Learning Generative Models

Alexander Ororbia, Daniel Kifer

TL;DR提出了一种基于预测处理理论的神经生成模型计算框架，通过构建神经元层次结构，预测邻居神经元的工作并根据预测与观测结果的差异更新神经元参数来训练模型，实验结果表明，该模型在多个基准数据集和度量标准上表现出色，并具有与功能类似的其他生成模型相媲美甚至优越的性能。

Abstract

neural generative models can be used to learn complex probability distributions from data, to sample from them, and to produce probability density estimates. We propose a computational framework for developing neural generative models inspired by the theory of predictive processing in

neural generative models predictive processing theory hierarchy benchmark datasets variational auto-encoder

发现论文，激发创造

金字塔预测网络：基于预测编码理论的视觉帧预测模型

本文介绍了一种新型的神经网络模型，它受到了流行的预测编码理论的启发，并结合了不同层次脑皮层以不同的频率振荡的理论。模型由一系列循环和卷积单元组成，上下两层流形式。该模型表现出更好的紧凑度和与现有作品相当的预测性能，表明较低的计算成本和更高的预测准确性。

Aug, 2022

具有循环生成反馈的神经网络

通过引入生成循环反馈，本文在卷积神经网络上实现了一种用于保证自我一致性的框架，并在标准基准测试中展示了 CNN-F 相对于传统前馈 CNN 的显着提高的对抗性鲁棒性。

Jul, 2020

使用神经网络组合图模型以获取结构化表示和快速推断

提出了一种将概率图模型和深度学习相结合的模型框架，通过将神经网络用于观测模型，提高了潜在变量的图形结构；针对推断，使用了可视化的自编码器，利用识别网络输出共轭潜力的图形模型近似分布；所有的这些模型组件都是同时学习的，从而得到了一种可扩展的算法，利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。

Mar, 2016

深度学习的概率论理论

通过发展概率性深度学习框架，研究人员解释了为什么深度学习算法能够胜任复杂感知推断任务，并发现了这些算法的成功和不足之处，提供了其改进的原则路径。

Apr, 2015

自然语言的元预测学习模型

基于自注意力机制的大型语言模型在语言处理和自然语言本身中取得了惊人的成绩，并且在不同性质的各种任务中也取得了成绩。本文在预测编码框架内提出了一个平均场学习模型，成功地验证了其在分类手写数字和玩具以及真实语言语料库中的有效性。因此，我们的模型为研究语言处理和意想不到的普遍智能的物理和生物对应关系提供了一个起点。

Sep, 2023

主动预测编码：一种用于学习层次化世界模型以进行感知和规划的统一神经框架

提出了一种新的预测编码框架，称为主动预测编码，利用超网络、自监督学习和强化学习来学习层次化的世界模型，并成功解决了细分视觉和复杂动作序列组合等多个问题。

Oct, 2022

预测编码网络中的推理和学习的理论框架

本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

Jul, 2022

混合神经隐式函数生成神经场

我们提出了一种学习生成神经场的新方法，它由隐式基网络的线性组合表示。我们的算法通过进行元学习或采用自动解码范式来学习隐式神经表示的基网络及其在潜在空间中的系数。该方法通过增加基网络的数量，同时保持小型推断网络的规模，从而轻松扩大生成神经场的容量，而通过加权模型平均来采样模型实例在延迟和内存占用方面高效。此外，我们还为目标任务定制了去噪扩散概率模型，以采样潜在混合系数，从而使我们的最终模型能够有效地生成看不见的数据。实验证明，我们的方法在图像、体素数据和 NeRF 场景的各种基准测试上取得了有竞争力的生成性能，而无需复杂的特定模态和领域设计。

Oct, 2023

深度预测编码网络

提出深度预测编码网络，用于学习具有动态情境感知的表征学习，实现了高效的特征提取与局部不变性表示，同时具有良好的结构噪声适应能力。

Jan, 2013

生成模型作为感觉运动环路的简约描述

本文提出，生成模型可以（而且应该）被用来描述与行为相关的感觉运动关系，而不是世界的精确账户，这与贝叶斯大脑假设、预测处理和变分自由能最小化相关。

Apr, 2019