Sep, 2023

通过雅可比稳态改进非对称权重的均衡传播

TL;DR通过研究广义平衡传播(generalized EP),我们发现权重的非对称性会导致平衡传播算法与反向传播算法的性能比较低,因此我们提出了一种新的恒定目标函数,用于惩罚网络在固定点的雅可比矩阵的功能不对称性,这显著提高了网络解决复杂任务的能力,例如ImageNet 32x32。