Mar, 2023

SymBa: 前向前算法的对称反向传播无对比学习用于优化收敛

PDF
TL;DR本文提出了 SymBa 算法，该算法旨在实现比反向传播（BP）更生物学上合理的学习。 SymBa 算法通过解决正负样本收敛方向冲突引起的不对称梯度问题，平衡正负损失以增强性能和收敛速度，并通过添加包含类信息的内在类模式（ICP）来修改 FF 算法、防止推导过程中丢失类信息。实验证明 SymBa 算法相对于 FF 算法和 BP 的有效性。
发现论文，激发创造
  • 不对称权重的深度学习

    提出了 Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。

    May, 2024

  • 可实现大规模数据集的生物合理学习算法

    研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。

    Nov, 2018

  • 改进的前向对比学习

    在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

    May, 2024

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 前向 - 前向算法的卷积式分通道竞争学习

    通过通道竞争学习在卷积神经网络中提出前向传递算法（Forward-Forward Algorithm）的改进方法，构建一个逐层有竞争性的学习过程，避免了负数据的生成、收敛速度较慢以及在复杂任务上性能不足等限制，在图像分类任务中，我们的方法优于基于前向传递算法的最近模型，在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 上的测试错误率分别为 0.58%、7.69%、21.89% 和 48.77%。这项研究主张了一种能够以模块化、更高效、更灵活的方式学习有用的表示的方法。

    Dec, 2023

  • 具有增强目标信息的学习：反馈对齐的另一种理论

    该研究提出了一种基于信息理论的新颖理论，解释了反馈对齐（Feedback Alignment）是如何通过将目标信息嵌入到神经网络中来学习有效表示，其表现与 BP 算法相比，且还考虑到了生物学方面的现象和理论，例如预测编码和表征漂移。

    Apr, 2023

  • 综合正向算法：将正向传递和浅层反向传播与局部损失相结合

    该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

    May, 2023

  • 前向学习中新兴的 NeoHebbian 动态：对神经形态计算的意义

    通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

    Jun, 2024

  • 基于前馈设计的可解释卷积神经网络

    本文提出了一种解释性前馈 (FF) 设计，通过数据统计推导出当前层的网络参数，构建了基于 Saab 变换和 LRS 级联的卷积与全连接层的 CNN， 并在 MNIST 和 CIFAR-10 数据集上比较了 BP 和 FF 设计的分类准确性和鲁棒性，并探讨了 BP 和 FF 设计之间的关系。

    Oct, 2018

  • BaCon：通过均衡特征级对比学习提升非平衡半监督学习

    本论文讨论了在类别不平衡半监督学习问题中更平衡的特征分布的优势，并进一步提出了一种平衡特征层级对比学习的方法（BaCon）。该方法通过以对比学习方式直接规范实例表示的分布，达到了更好的效果。此方法在多个数据集上的综合实验证明了其有效性，并表现出比其他方法更好的鲁棒性。

    Mar, 2024