target propagation | BriefGPT

关键词target propagation

搜索结果 - 9

AAAI固定权重差分目标传播
本篇研究提出了 Fixed-Weight Difference Target Propagation（FW-DTP）算法，该算法在训练过程中保持反馈权重不变，以解决 Target Propagation（TP）算法存在的问题。结果表明，FW
PDF2 years ago
预测编码网络中的推理和学习的理论框架
本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。
PDF2 years ago
从迭代逼近逆推导差分目标传播
本文通过学习每一层的逆函数的形式，提出了一种目标传播方法，它是微分的，即目标是前向传播的一个小扰动，产生了一种近似高斯牛顿梯度下降优化的更新规则。除了比反向传播具有更好的生物学可行性之外，它还可能提供更强的隐含优化过程。在考虑了本地自编码器
PDF4 years ago
目标传播的理论框架
本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果
PDF4 years ago
GAIT-prop：一种源自误差反向传播的生物合理的学习规则
提出了 GAIT-Prop 算法，该算法是目标传播算法的一种改进形式，并与 Backpropagation 算法在某些条件下等价。该算法在神经网络训练中可以产生与传统 Backpropagation 算法几乎相同的性能表现，尤其在软正交性约
PDF4 years ago
NIPS生物启发深度学习算法和架构的可扩展性评估
通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在
PDF6 years ago
多层梯度提升决策树
提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。
PDF6 years ago
KDD差异目标传播
本文提出了一种称为目标传播的深度网络学习方法，它可以在神经元之间交换随机位而不是实数的情况下进行反向传播，每一层都使用自编码器来计算目标，得到了与反向传播相当的结果。换句话说，该方法提出了一种解决非线性函数下的显式反向传播方法问题的方法，现
PDF10 years ago
如何通过目标传播，使得自编码器对深度神经网络提供信用分配
本研究提出了利用重构为深度学习提供层本地的训练信号的方法，重构可以通过目标传播的形式进行传播，类似于反向传播，但有助于减少导数的依赖性以跨越许多水平的可能具有强非线性的学分任务，重构可以是一个更可能是其输入版本的重构，即更高似然性的方向上的
PDF10 years ago